TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

Imagina que eres un profesor intentando construir un cuestionario para tu clase de ciencias. Tienes un libro de texto oficial y grueso que contiene todas las respuestas, pero no tienes tiempo para hojear cada página para encontrar las preguntas perfectas. Acudes a un robot informático súper inteligente (una Inteligencia Artificial) para que te ayude. Le pides: "Hazme un cuestionario sobre la lluvia ácida" y el robot comienza a escribir. Pero aquí está el truco: a veces estos robots son como estudiantes demasiado entusiastas que memorizaron algunos datos pero luego empiezan a inventar cosas para parecer inteligentes. Podrían inventar una regla científica falsa o extraer un dato de un capítulo completamente distinto. Esto se llama "alucinación". Para evitar esto, los científicos utilizan un truco llamado Generación Aumentada por Recuperación (RAG). Piensa en el RAG como darle al robot una tarjeta de la biblioteca y una regla estricta: "Solo puedes escribir tu cuestionario si puedes señalar la página exacta del libro de texto donde encontraste la respuesta".

Sin embargo, incluso con una tarjeta de la biblioteca, el robot aún puede confundirse. Si el libro de texto está organizado de una manera compleja, o si el robot toma una oración diminuta y aislada sin el contexto circundante, es posible que aun así escriba una mala pregunta. La gran pregunta para los investigadores es: ¿Cómo construimos un robot que no solo agarre cualquier página, sino que comprenda la estructura de la lección, sepa cuándo no tiene suficiente información para responder y revise su propio trabajo antes de mostrárselo al profesor? Este es el problema que un nuevo estudio intenta resolver, específicamente para profesores de ciencias en Bangladesh que utilizan un libro de texto nacional muy específico.

---

Conoce a TeachMateGPT: El Bibliotecario Robot con una Red de Seguridad

El artículo presenta un nuevo sistema llamado TeachMateGPT. Puedes pensar en él no como un solo robot, sino como un equipo de trabajadores especializados en una fábrica de alta tecnología, todos trabajando juntos para convertir la petición de un profesor en un cuestionario perfecto y fiel al libro de texto. El sistema está diseñado específicamente para el libro de texto de Ciencias de 8.º grado del Consejo de Currículo y Libros de Texto Nacional (NCTB) de Bangladesh, un recurso que es crucial para los estudiantes pero que a menudo es difícil de navegar perfectamente para una IA.

Así es como funciona la fábrica, paso a paso:

1. El Índice Inteligente (COPE)
Primero, el sistema tiene que organizar el libro de texto. Imagina que el libro de texto es un ático gigante y desordenado. Un robot normal podría simplemente agarrar una caja de cosas al azar. TeachMateGPT utiliza una herramienta especial llamada COPE (Incrustación Pedagógica Orientada al Currículo). En lugar de solo cortar el texto en fragmentos aleatorios, COPE entiende el "árbol genealógico" del libro. Sabe que un "Capítulo" contiene "Lecciones", que contienen "Secciones", que contienen "Definiciones". Construye un mapa donde cada pieza de información está vinculada a sus padres y vecinos. Si el robot necesita saber sobre un animal específico, no solo encuentra la palabra "animal"; encuentra todo el párrafo sobre dónde encaja ese animal en el árbol genealógico de la vida. Esto asegura que el robot comprenda el contexto, no solo las palabras.

2. Los Porteros (Los Agentes de Enrutamiento)
Antes de que el robot siquiera busque respuestas, un equipo de agentes "Porteros" revisa la petición del profesor.

• El Agente de Intención pregunta: "¿Es esta una pregunta de ciencia real, o el profesor solo dijo 'Hola'?"
• El Agente de Ambigüedad pregunta: "¿Es la pregunta clara? Si el profesor dice 'Haz un cuestionario sobre animales', el agente se detará y preguntará: '¿Qué capítulo? ¿Qué tipo de animal?'"
• El Agente de Seguridad se asegura de que ninguna petición dañina o fuera de tema se filtre.
  Si la petición es demasiado vaga o insegura, el sistema se detiene cortésmente y pide más detalles. Se niega a adivinar.

3. El Equipo de Detectives (Recuperación Híbrida)
Una vez que la petición está clara, el sistema sale en busca de evidencia. Utiliza dos tipos de búsqueda al mismo tiempo:

• El Detective Semántico: Busca el significado de las palabras (por ejemplo, encontrar "lluvia ácida" incluso si el texto dice "lluvia con alta acidez").
• El Detective Léxico: Busca términos científicos exactos que podrían pasarse por alto solo por el significado.
  Si el sistema encuentra la evidencia, utiliza una regla de "Cierre por Fallo" (Fail-Closed). Esto es como un profesor estricto que dice: "Si no tienes suficientes pruebas, sacas un cero". Si el sistema no puede encontrar suficientes páginas del libro de texto para respaldar una pregunta, simplemente se niega a generar una, en lugar de inventar algo.

4. Los Escritores (Agentes Especialistas)
Una vez reunida la evidencia, diferentes "escritores" toman el relevo.

• El Especialista en MCQ escribe preguntas de opción múltiple (como "¿A, B, C o D?").
• El Especialista en Preguntas Creativas escribe las preguntas más largas y basadas en historias, comunes en los exámenes de la junta (donde un estudiante lee un escenario y responde cuatro partes).
  A estos escritores se les obliga a usar únicamente la evidencia que encontraron los detectives. No pueden usar su propia "memoria" para inventar hechos.

5. El Inspector (SAVER)
Antes de que el cuestionario sea entregado al profesor, un inspector final llamado SAVER (Verificación Basada en la Fuente y Clasificación de Evidencia) revisa el trabajo. Mira cada una de las preguntas y hace tres preguntas:

1. Fidelidad: ¿Realmente encontraste este hecho en el libro de texto?
2. Relevancia: ¿Esto coincide con lo que el profesor pidió?
3. Riesgo de Alucinación: ¿Inventaste algo?
   Si la puntuación es demasiado baja, el sistema marca la pregunta para que el profesor humano la revise. No la elimina automáticamente; simplemente dice: "Oye, revisa esta, no estoy 100% seguro".

¿Qué Encontraron?

Los investigadores probaron este sistema generando 198 preguntas de ciencias (143 de opción múltiple y 55 preguntas creativas) que cubren los 14 capítulos del libro de texto de Clase 8. Luego, hicieron que tres profesores de ciencias reales calificaran los resultados.

Los resultados fueron bastante impresionantes. Comparado con un sistema de IA "estándar" o "vainilla" que solo toma el texto y escribe:

• La Fidelidad (qué tan ciertos son los hechos respecto a la fuente) saltó de 0.68 a 0.96. Esto significa que el nuevo sistema es casi perfectamente honesto sobre de dónde obtuvo su información.
• La Relevancia de la Respuesta (qué tan bien se ajusta la respuesta a la pregunta) pasó de 0.60 a 0.89.
• La Utilidad para el Profesor (qué tan útiles encontraron los profesores las preguntas) se disparó de una puntuación de 2.00 a 4.80 en una escala de 5 puntos.

El estudio también demostró que si se elimina el "Índice Inteligente" (COPE), la calidad cae significamente. Si se elimina al "Inspector" (SAVER), el sistema empieza a inventar hechos de nuevo. Esto demuestra que tanto comprender la estructura del libro como la doble verificación del trabajo son esenciales.

Los Límites y El Futuro

Los autores son cuidadosos al señalar lo que su sistema aún no puede hacer.

• Es Solo de Texto: El sistema lee las palabras del libro de texto, pero tiene dificultades con las imágenes. Si una pregunta requiere mirar un diagrama de un circuito o una célula, el sistema no puede "ver" la imagen. Tiene que confiar en la descripción textual, lo que podría omitir el punto de la pregunta visual.
• Necesita Ojos Humanos: El sistema está diseñado para ser un ayudante, no un reemplazo. Marca las preguntas para que los profesores las revisen, pero no toma la decisión final. Los profesores deben revisar el trabajo antes de entregarlo a los estudiantes.
• Específico para un Libro: Este sistema fue construido específicamente para el libro de texto de Ciencias de Clase 8 en Bangladesh. Podría no funcionar perfectamente para un grado diferente, un tema diferente o el currículo de otro país sin cambios significativos.

En resumen, TeachMateGPT sugiere que al darle a la IA un mejor mapa del libro de texto, una regla estricta para dejar de adivinar y un inspector integrado, podemos crear una herramienta que ayude a los profesores a ahorrar tiempo sin sacrificar la precisión. Es un paso hacia un futuro donde la IA sea un copiloto confiable para la educación, en lugar de un piloto automático arriesgado.