Can AI be a Teaching Partner? Evaluating ChatGPT, Gemini, and DeepSeek across Three Teaching Strategies

Este estudio compara el rendimiento pedagógico de ChatGPT, Gemini y DeepSeek como agentes de enseñanza en la programación C, revelando que, aunque los modelos muestran patrones similares en el uso de ejemplos y explicaciones, ChatGPT y Gemini superan a DeepSeek, especialmente en la aplicación del método socrático.

Lo esencial

Imagina que la Inteligencia Artificial (IA) es como un nuevo ayudante de cocina muy inteligente que acaba de llegar a tu escuela. Todos dicen que este ayudante puede cocinar cualquier plato (explicar cualquier tema) y que es muy rápido. Pero, ¿sabe realmente enseñar a cocinar, o simplemente te da el plato terminado listo para comer?

Este artículo es como una prueba de cocina donde tres de los mejores ayudantes del mundo (ChatGPT, Gemini y DeepSeek) fueron puestos a prueba para ver quién es el mejor "maestro de cocina" para estudiantes que están aprendiendo a programar en un lenguaje llamado C.

Aquí te explico cómo lo hicieron y qué descubrieron, usando analogías sencillas:

1. La Prueba: Tres Formas de Enseñar

Los investigadores no solo preguntaron "¿cuál da la respuesta correcta?". En su lugar, probaron tres estilos de enseñanza diferentes, como si fueran tres recetas distintas:

• La Receta de los Ejemplos (Examples): En lugar de decirte cómo hacer el pastel, el maestro te muestra un trozo de pastel ya hecho para que veas cómo es la masa y el relleno, y tú intentas hacer el tuyo.

  • El resultado: Los tres ayudantes fueron bastante buenos mostrando ejemplos. Sin embargo, a veces les faltaba variedad (como si siempre mostraran el mismo tipo de pastel). Gemini fue el mejor conectando los conceptos abstractos con cosas de la vida real.

• La Receta de las Explicaciones y Analogías (Explanations & Analogies): Aquí, el maestro te explica por qué funciona el pastel usando comparaciones. Por ejemplo: "Una variable en programación es como un cajón de un mueble; guardas cosas en él".

  • El resultado: ChatGPT fue el chef estrella aquí. Sus explicaciones fueron más claras, fáciles de entender y muy útiles. DeepSeek tuvo más dificultades para adaptar sus explicaciones al nivel de un principiante (a veces hablaba demasiado técnico).

• El Método Socrático (Socratic Method): Esta es la prueba más difícil. El maestro nunca te da la respuesta. En su lugar, te hace preguntas para que tú mismo descubras la solución. Es como un detective que te guía con pistas en lugar de decirte quién es el culpable.

  • El resultado: Aquí se notó la mayor diferencia. ChatGPT y Gemini fueron excelentes detectives, haciendo preguntas inteligentes que te llevaban a la respuesta. DeepSeek, en cambio, a veces se frustraba y te daba la respuesta directa ("¡Aquí está el código!"), rompiendo la magia de que tú lo descubras.

2. El Veredicto: ¿Quién es el Mejor Maestro?

Imagina que los tres son corredores en una carrera de obstáculos:

• 🥇 ChatGPT y Gemini: Fueron los mejores atletas. Sabían cuándo dar un ejemplo, cuándo usar una analogía divertida y, lo más importante, sabían cuándo callar y hacerte preguntas para que pensaras. Actuaron como verdaderos profesores que guían.
• 🥉 DeepSeek: Fue un corredor rápido, pero a veces se confundía. Tenía mucha información, pero le costaba seguir el ritmo de la enseñanza. A menudo, en lugar de guiarte, te daba el resultado final, lo cual no ayuda a aprender realmente.

3. El Problema de "Darte el Pastel Listo"

Uno de los peores comportamientos que buscaron fue cuando el IA te da la solución completa sin que tú pienses.

• Gemini fue el que menos veces "hizo trampa" y te dio la respuesta lista.
• DeepSeek fue el que más veces te dio la solución completa, lo cual es malo para aprender, porque es como si alguien más hiciera tu tarea por ti.

4. ¿Por qué es importante esto?

Este estudio nos dice algo muy valioso: La IA no es mágica por sí sola.

• Si usas a la IA solo para que te dé respuestas, es como tener una calculadora que hace tu tarea.
• Pero si la usas con las instrucciones correctas (como las que probaron en este estudio), puede convertirse en un tutor paciente que te ayuda a pensar.

En resumen:
La IA puede ser un gran compañero de enseñanza, pero no todos son iguales. ChatGPT y Gemini demostraron tener más "sensibilidad pedagógica" (saben cómo enseñar), mientras que DeepSeek necesita un poco más de entrenamiento o instrucciones más claras para no saltarse el proceso de aprendizaje y ir directo a la respuesta.

La lección final es que, para que la IA sea un buen maestro, no basta con que sea inteligente; tiene que saber cómo enseñar, adaptarse a ti y no darte todo resuelto.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: ¿Puede la IA ser un Socio de Enseñanza? Evaluación de ChatGPT, Gemini y DeepSeek a través de Tres Estrategias Pedagógicas

1. Planteamiento del Problema

A pesar de la adopción masiva de los Modelos de Lenguaje Grande (LLM) en la educación y su capacidad para proporcionar explicaciones y retroalimentación, existe una brecha crítica en la evidencia empírica sobre sus habilidades pedagógicas reales. La mayoría de las evaluaciones actuales se centran en benchmarks de precisión de contenido (resolución de problemas) o en la capacidad de respuesta estática, ignorando cómo estos modelos adaptan sus estrategias de enseñanza en tiempo real durante la interacción con estudiantes.

El problema central es determinar si los LLMs pueden ir más allá de simplemente "dar respuestas correctas" para facilitar activamente el aprendizaje mediante estrategias pedagógicas específicas (ejemplos, analogías y método socrático), especialmente en contextos de recursos limitados donde podrían servir como tutores complementarios.

2. Metodología

El estudio diseñó un protocolo de evaluación comparativo riguroso para analizar el comportamiento de tres LLMs populares: ChatGPT (versión 4.1-mini), Gemini (2.5 flash) y DeepSeek (V3).

• Contexto: Enseñanza del lenguaje de programación C a principiantes. Se utilizaron 25 ejercicios básicos (operadores, decisiones, bucles, arrays, funciones) extraídos de una fuente estándar.
• Estrategias Pedagógicas Evaluadas:
  1. Ejemplos: El modelo debe ofrecer fragmentos de código ilustrativos en lugar de la solución completa.
  2. Explicaciones y Analogías: El modelo debe explicar conceptos y usar analogías para conectar conocimientos previos con nuevos.
  3. Método Socrático: El modelo debe guiar al estudiante mediante preguntas estructuradas, hipótesis y contraejemplos, sin dar respuestas directas.
• Diseño Experimental:
  • Participantes: 6 jueces expertos en programación que actuaron simulando el rol de estudiantes principiantes.
  • Interacción: Cada juez interactuó con cada modelo (5-10 turnos por ejercicio) bajo un enfoque de "role prompting" (el modelo actúa como un profesor optimista y alentador).
  • Criterios de Evaluación: Se utilizó una escala de 0 a 5 basada en dimensiones específicas para cada estrategia (ej. relevancia, corrección, nivel de detalle, adaptación al nivel del estudiante, promoción del pensamiento crítico).
  • Análisis Estadístico: Se aplicaron pruebas no paramétricas (Kruskal-Wallis y Dunn con corrección de Bonferroni) debido a la no normalidad de los datos, además de pruebas Chi-cuadrado para variables categóricas (percepción de los jueces y tendencia a dar soluciones inmediatas).

3. Contribuciones Clave

• Protocolo de Evaluación Pedagógica: Desarrollo de un marco metodológico que evalúa no solo la precisión del contenido, sino la calidad de la interacción educativa y la adherencia a estrategias pedagógicas específicas.
• Análisis Comparativo Empírico: Proporciona datos cuantitativos y cualitativos sobre cómo tres modelos líderes (incluyendo un modelo de origen chino, DeepSeek) se comportan bajo diferentes paradigmas de enseñanza.
• Detección de Sesgos de Comportamiento: Identificación de patrones de "alucinación pedagógica", donde los modelos tienden a dar soluciones directas en lugar de guiar, o fallan en mantener la coherencia en el método socrático.
• Reproducibilidad: El estudio incluye la disponibilidad pública de los datasets, scripts y cuadernos de Colab utilizados, fomentando la replicabilidad en la investigación de IA en Educación (AIED).

4. Resultados Principales

• Estrategia de Ejemplos:

  • Los tres modelos mostraron un rendimiento similar en corrección y nivel de detalle.
  • Gemini destacó en la conexión entre conceptos abstractos y concretos.
  • ChatGPT superó a los demás en relevancia.
  • DeepSeek obtuvo las puntuaciones más bajas en la percepción de los jueces y fue el modelo que más frecuentemente falló al proporcionar soluciones inmediatas (comportamiento no deseado).

• Estrategia de Explicaciones y Analogías:

  • ChatGPT obtuvo las puntuaciones más altas en claridad, enfoque en partes críticas y utilidad.
  • DeepSeek nuevamente mostró un rendimiento inferior, especialmente en la adaptación al nivel del estudiante y en la utilidad de las analogías.
  • Todos los modelos tendieron a dar más explicaciones que analogías, sugiriendo que la generación de analogías es un desafío para los LLMs.

• Método Socrático:

  • Fue la estrategia donde se observó la mayor variabilidad entre modelos.
  • ChatGPT y Gemini demostraron una mayor fluidez en mantener el diálogo guiado por preguntas, evitando dar respuestas directas.
  • DeepSeek luchó significativamente para mantener la línea de indagación, a menudo rompiendo el método socrático para proporcionar respuestas directas o contraejemplos insuficientes.
  • Gemini a veces comenzó con conceptos demasiado fundamentales, haciendo la interacción tediosa si no estaba alineada con el nivel del estudiante.

• Ranking General:

  • ChatGPT y Gemini fueron evaluados consistentemente como "satisfactorios" por los jueces.
  • DeepSeek fue calificado como "parcialmente satisfactorio", con puntuaciones significativamente más bajas en la mayoría de los criterios pedagógicos y una mayor tendencia a violar la restricción de no dar soluciones inmediatas.

5. Significado e Implicaciones

• Validación de la IA como Tutor: El estudio confirma que los LLMs tienen el potencial de actuar como socios de enseñanza efectivos, pero su éxito depende críticamente del diseño del prompt y de la estrategia pedagógica seleccionada.
• Sensibilidad al Prompt: La capacidad de un modelo para adoptar un rol pedagógico (especialmente el Método Socrático) es altamente sensible a las instrucciones iniciales. Los modelos no adoptan estas estrategias de forma innata sin una guía adecuada.
• Brecha de Rendimiento: Existe una diferencia notable en las habilidades pedagógicas entre modelos. No todos los LLMs son igualmente aptos para la educación; modelos como DeepSeek, aunque potentes en tareas generales, pueden requerir ajustes o estrategias alternativas para ser efectivos en entornos educativos.
• Equidad y Acceso: El estudio resalta la necesidad de evaluar modelos en contextos de recursos limitados y la importancia de explorar Modelos de Lenguaje Pequeños (SLMs) que puedan ejecutarse localmente para evitar la brecha digital, ya que los modelos actuales requieren infraestructura costosa.
• Futuro de la Educación: La IA debe verse como una herramienta de augmentación para los docentes, encargándose de tareas repetitivas y tutoría básica, permitiendo a los humanos enfocarse en dinámicas complejas de aula, en lugar de un reemplazo total.