ACE-TA: An Agentic Teaching Assistant for Grounded Q&A, Quiz Generation, and Code Tutoring

El artículo presenta ACE-TA, un marco de asistente de enseñanza agéntico que utiliza modelos de lenguaje preentrenados para ofrecer respuestas fundamentadas, generación de cuestionarios adaptativos y tutoría interactiva de código mediante tres módulos coordinados.

Lo esencial

Imagina que aprender a programar es como intentar construir una casa compleja sin un arquitecto a tu lado. A veces te pierdes en los planos (los conceptos), a veces no sabes cómo poner el ladrillo (escribir el código) y a veces ni siquiera sabes si la casa se va a caer (hacer un examen).

El papel que leíste presenta a ACE-TA, un nuevo "asistente de enseñanza" que funciona como un super-ayudante inteligente y autónomo para estudiantes de programación. No es solo un chatbot que responde preguntas; es un sistema que actúa como un tutor humano, pero que nunca duerme, nunca se cansa y tiene acceso a todos los libros de texto de la universidad al instante.

Aquí te explico cómo funciona ACE-TA usando tres analogías simples:

1. El Recepcionista Inteligente (El Enrutador)

Imagina que entras a una gran biblioteca con un solo guardia en la entrada. Tú le dices: "¡Ayuda!".

• Si preguntas "¿Qué es una variable?", el guardia te envía al Departamento de Conceptos.
• Si dices "¡Quiero practicar para el examen!", te envía al Departamento de Exámenes.
• Si dices "¡Mi código no funciona!", te lleva al Taller de Reparación de Código.

ACE-TA tiene un "cerebro" rápido que decide instantáneamente qué tipo de ayuda necesitas y te envía al lugar correcto, sin hacerte esperar.

2. Los Tres Superpoderes de ACE-TA

A. El Experto en Conceptos (Respuestas con "Pies de Foto")

Muchas veces, los robots de chat (como los antiguos) inventan cosas que suenan bien pero son falsas.

• La analogía: Imagina que le preguntas a un experto: "¿Cómo se hace una tortilla?". Un robot normal podría inventar una receta loca. ACE-TA, en cambio, es como un chef que abre el libro de recetas oficial, busca la página exacta, te lee los pasos y te dice: "Según el libro de texto, aquí está la respuesta".
• Cómo lo hace: Usa una tecnología llamada "RAG" (Generación Aumentada por Recuperación). Es como tener un índice de búsqueda súper rápido que solo le permite al asistente hablar basándose en lo que dice el libro de texto, evitando alucinaciones.

B. El Creador de Exámenes Personalizados (El Entrenador de Gimnasio)

Imagina un entrenador personal que no te da el mismo ejercicio a todos.

• La analogía: Si eres nuevo, te da ejercicios ligeros. Si ya eres fuerte, te da pesas más grandes. ACE-TA crea exámenes de opción múltiple que se adaptan a ti.
• Su magia: Si respondes bien, te da una pregunta más difícil para que aprendas más. Si fallas, te da una más fácil para que refuerces la base. Además, no solo te da la respuesta, sino que te explica por qué las otras opciones estaban mal, como un profesor que corrige tu cuaderno.

C. El Tutor de Código Paso a Paso (El Mecánico de Coches)

Esta es la parte más genial. Cuando un estudiante intenta programar, a menudo escribe todo el código de golpe y falla.

• La analogía: Imagina que estás aprendiendo a conducir un coche manual. En lugar de decirte "Arranca el coche y ve a la tienda", ACE-TA te guía paso a paso:
  1. "Primero, pon el embrague".
  2. "Ahora, gira la llave".
  3. "Espera, el motor no arranca. ¿Por qué? Revisa el embrague".
• El taller seguro: ACE-TA tiene un "taller de pruebas" (un entorno seguro). Si escribes una línea de código, lo prueba inmediatamente. Si falla, te dice exactamente dónde está el error y te ayuda a corregirlo antes de pasar al siguiente paso. No te da la solución completa; te enseña a construirla tú mismo.

¿Por qué es importante esto?

En las universidades, hay muchos estudiantes y pocos profesores. A menudo, los estudiantes tienen dudas a las 2 de la mañana cuando están estudiando solos, y no hay nadie a quien preguntar.

• Antes: El estudiante se frustraba, se rendía o aprendía mal porque nadie corregía sus errores.
• Ahora con ACE-TA: Tienen un tutor disponible 24/7 que es paciente, conoce el material a la perfección y los guía sin darles la respuesta mágica, sino enseñándoles a pensar.

En resumen

ACE-TA es como tener un tutor personal, un bibliotecario experto y un entrenador de gimnasio fusionados en una sola aplicación. No solo te da las respuestas, sino que te enseña a encontrarlas, a practicarlas y a construir soluciones sólidas, asegurando que realmente entiendas la programación y no solo copies y pegues código.

Resumen técnico

Título: ACE-TA: Un Asistente de Enseñanza Agente para Respuestas Fundamentadas, Generación de Cuestionarios y Tutoría de Código

1. El Problema

La educación superior enfrenta desafíos crecientes debido al aumento de la matrícula tras la pandemia, lo que sobrecarga a los instructores y a los asistentes de enseñanza (TAs), quienes a menudo son estudiantes con disponibilidad limitada. Esto genera barreras de acceso para los estudiantes que necesitan ayuda fuera del horario de oficina, especialmente en cursos de alto volumen de STEM (Ciencia, Tecnología, Ingeniería y Matemáticas).

Aunque los Modelos de Lenguaje Grande (LLM) tradicionales ofrecen soporte, carecen de capacidades agenticas avanzadas (como planificación multi-paso, uso de herramientas y recuperación de información). Los sistemas existentes suelen centrarse en preguntas y respuestas (Q&A) generales o soporte administrativo, pero fallan en:

• Proporcionar guías de codificación paso a paso con ejecución en entorno controlado.
• Generar evaluaciones adaptativas que midan la comprensión de alto orden.
• Unificar la comprensión conceptual, la construcción de código y la autoevaluación en un solo sistema.

2. Metodología: Arquitectura de ACE-TA

ACE-TA es un marco de trabajo local y multi-módulo que integra Recuperación Aumentada por Generación (RAG), evaluación adaptativa y tutoría de código paso a paso bajo una capa de orquestación compartida. Utiliza LLMs preentrenados locales (ej. Phi-3-Mini para enrutamiento y GPT-OSS-20B para generación).

El sistema consta de tres módulos coordinados:

• A. Enrutador de Consultas (Orquestación):

  • Un modelo ligero clasifica la entrada del usuario en una de tres rutas: Q&A Conceptual, Generador de Cuestionarios o Tutor de Código.
  • Utiliza esquemas restringidos y temperatura 0 para un enrutamiento determinista, reutilizando modelos precargados para reducir la latencia.

• B. Módulo de Q&A Conceptual (Fundamentado en Recuperación):

  • Emplea una estrategia de recuperación híbrida: combina búsqueda densa (FAISS) y léxica (BM25) sobre una base de datos vectorial con fragmentación semántica y tardía (late chunking).
  • Aplica un reordenamiento (reranking) mediante un codificador cruzado (MS MARCO-MiniLM) para seleccionar los 5 mejores fragmentos.
  • Genera respuestas basadas estrictamente en la evidencia recuperada, reconociendo explícitamente cuando el contexto es insuficiente.

• C. Generador de Cuestionarios Adaptativos:

  • Descompone temas amplios en subtemas seleccionables por el estudiante para evitar la deriva temática.
  • Utiliza Relevancia Marginal Máxima (MMR) para seleccionar fragmentos diversos de una base de datos de cuestionarios.
  • Genera preguntas de opción múltiple (MCQ) etiquetadas con niveles de Bloom (Aplicar, Analizar, Evaluar, Crear) y ajusta la dificultad de las siguientes preguntas basándose en la corrección de las respuestas anteriores.

• D. Tutor de Código Interactivo:

  • Descompone problemas de programación en pasos lógicos sin código inicial.
  • Guía al estudiante para escribir solo el fragmento de código necesario para el paso actual.
  • Validación: El código pasa por un análisis de Árbol de Sintaxis Abstracta (AST) para errores de sintaxis, luego se ejecuta en un entorno sandbox (caja de arena).
  • Retroalimentación: Si falla, el sistema analiza el error y proporciona una explicación iterativa. Si pasa, compara la lógica con una referencia usando un comparador basado en LLM, aceptando soluciones equivalentes pero no idénticas.

3. Contribuciones Clave

1. Diseño de un Asistente Agente Unificado: ACE-TA integra Q&A fundamentado, generación de cuestionarios adaptativos y tutoría de código paso a paso en una sola arquitectura, superando la fragmentación de sistemas anteriores.
2. Integraciones Nuevas:
   • Recuperación híbrida optimizada para fidelidad en explicaciones.
   • Generación de cuestionarios multi-concepto con adaptación de dificultad.
   • Tutoría de código incremental con ejecución en sandbox y retroalimentación iterativa.
3. Evaluación Rigurosa: Demostración de la eficacia mediante métricas cuantitativas (RAGAS, BERTScore, ROUGE, CodeBLEU) y evaluación cualitativa por Expertos en la Materia (SME).

4. Resultados y Evaluación

El sistema se evaluó utilizando datos del libro Learning Python (5ª edición), incluyendo 100 pares Q&A, 108 preguntas de opción múltiple y 150 problemas de codificación.

• Fidelidad en Q&A:
  • Logró una precisión de contexto casi perfecta y una relevancia de respuesta de 0.94.
  • Los expertos (SME) calificaron la profundidad de las explicaciones de ACE-TA con un promedio de 3.8/5, significativamente superior a 1.3/5 de Gemini 2.5 Pro, destacando que ACE-TA evita información lateral irrelevante.
• Generación de Cuestionarios:
  • Mostró una cobertura amplia (puntuación media de amplitud de 1.73) y un equilibrio excelente (puntuación de uniformidad de 0.97) entre subtemas.
  • La adecuación de las explicaciones de las respuestas fue calificada con un promedio de 3.57/5 por los expertos.
• Tutoría de Código:
  • Se evaluó la robustez con 7 modelos LLM de diferentes tamaños (7B a 27B parámetros).
  • La Medida de Rendimiento Ponderada por Dificultad (DWPM) mostró una fuerte correlación positiva (ρ = 0.875) entre la capacidad efectiva del modelo y el rendimiento, aunque los modelos más pequeños también mejoraron gracias a la guía estructurada del tutor.
  • La claridad de los pasos generados por el tutor fue calificada con un promedio de 3.84/5 por los expertos, siendo robusta incluso en problemas difíciles.

5. Significado e Impacto

ACE-TA representa un avance significativo en la integración de la Inteligencia Artificial Agente (AAI) en la educación superior. Su importancia radica en:

• Escalabilidad: Ofrece asistencia 24/7 que reduce la carga de trabajo de los TAs humanos.
• Aprendizaje Profundo: Al obligar a los estudiantes a construir código paso a paso y validar cada iteración, fomenta la comprensión lógica en lugar de la simple copia de soluciones.
• Evaluación Formativa: La capacidad de generar cuestionarios adaptativos permite una evaluación continua y personalizada.
• Generalización: Aunque probado con Python, la arquitectura está diseñada para adaptarse a otros cursos y materiales, marcando un paso hacia sistemas de tutoría inteligente verdaderamente autónomos y fundamentados en el currículo.

El trabajo concluye que ACE-TA no solo mejora el acceso a la ayuda académica, sino que eleva la calidad de la interacción educativa mediante un enfoque estructurado, fundamentado y seguro.