Can We Improve Educational Diagram Generation with In-Context Examples? Not if a Hallucination Spoils the Bunch

Resumen Técnico: Mejora de la Generación de Diagramas Educativos con Ejemplos en Contexto

Declaración del Problema
La inteligencia artificial (IA) generativa se utiliza cada vez más en la educación informática para producir materiales instructivos, incluyendo diagramas. Sin embargo, la calidad de estos resultados sigue siendo una preocupación significativa para educadores y estudiantes. Los métodos existentes para la generación de código de diagramas, como la extracción de entidades/relaciones o el aprendizaje en contexto (ICL) estándar, a menudo sufren de verbosidad, mala calidad de diseño y, lo que es más crítico, alucinaciones. Las alucinaciones en los Modelos de Lenguaje Extensos (LLM) se definen como desalineaciones con el contexto de entrada proporcionado o con el conocimiento factual, categorizadas en facticidad (contradecir el conocimiento del mundo o fabricar hechos no verificables) y fidelidad (desviarse de las instrucciones del usuario o del contexto de entrada). La investigación empírica indica que las tasas de alucinación pueden oscilar entre el 3% y el 86%, incluso en los modelos con mejor rendimiento. El desafío central abordado es la generación de diagramas educativos fiables y de alta calidad que se adhieran estrictamente a los contextos de los textos fuente sin introducir errores factuales o inconsistencias lógicas.

Metodología
El estudio propone un nuevo método de ICL para generar código de diagramas (específicamente en la sintaxis dot de Graphviz) que aprovecha la Teoría de la Estructura Retórica (RST) para seleccionar ejemplos de contexto relevantes. El enfoque se fundamenta en la premisa de que la RST, que analiza la coherencia del texto a través de relaciones jerárquicas entre "unidades de discurso elementales" (EDUs), puede guiar a los LLM para visualizar relaciones de coherencia consistentes con las expectativas del usuario.

El pipeline propuesto involucra dos variaciones, RST1 y RST2, comparadas contra una línea base de aprendizaje de cero disparos (0-shot):

1. Análisis RST (Paso 1): El LLM analiza el texto fuente para identificar las EDUs y sus relaciones retóricas (núcleos y satélites) basándose en las directrices de anotación de Stede et al. Este paso se omite en la línea base 0-shot.
2. Búsqueda de Similitud (Paso 2): El sistema compara el análisis RST generado contra un diccionario preestablecido de cuatro tríos de texto-análisis-diagrama de ejemplo. El modelo selecciona el ejemplo cuyo análisis RST es más similar al de entrada.
3. Construcción de Ejemplos (Paso 3):
   • RST1: Utiliza el texto fuente y el código de diagrama correspondiente del ejemplo seleccionado.
   • RST2: Utiliza el análisis RST y el código de diagrama correspondiente del ejemplo seleccionado.
4. Generación ICL (Paso 4): El modelo genera el código de diagrama inicial utilizando el ejemplo seleccionado como demostración.
5. Reparación y Refinamiento (Pasos 5–7): El código generado se somete a un proceso de reparación iterativo para corregir errores de sintaxis hasta que se renderice. Un paso de refinamiento posterior (Paso 6) solicita al modelo que mejore la estética del diseño (por ejemplo, reducir cruces de líneas, asegurar la simetría) basándose en una rúbrica específica, seguido de un ciclo final de reparación.

El estudio utilizó modelos GPT-4o y o3, probándolos en 25 textos fuente categorizados por dificultad (básica, media, avanzada). Se generaron y evaluaron un total de 150 diagramas.

Contribuciones Clave

1. Método ICL basado en RST: Los autores proponen y evalúan un nuevo método para seleccionar demostraciones en contexto para la generación de código de diagramas basado en el análisis RST, con el objetivo de reducir las inconsistencias de contexto y las alucinaciones en comparación con la generación zero-shot.
2. Rúbrica de Evaluación: Se desarrolló una rúbrica de cinco escalas para evaluar la calidad del diagrama en tres dimensiones:
   • Organización Lógica (C1): Flujo, estructura, claridad del lenguaje y adherencia a las convenciones.
     س * Conectividad (C2): Uniformidad y cohesión de las conexiones (por ejemplo, ausencia de nodos huérfanos).
   • Estética de Diseño (C3): Presencia de problemas como cruces de líneas, obstrucción de elementos, asimetría y desalineación.
3. Análisis de Alucinaciones: Una investigación profunda sobre la relación entre la alucinación de la IA (tanto factual como de fidelidad) y la calidad del diagrama, incluyendo la propagación de errores a través de pipelines de generación de múltiples pasos.

Resultados

• Rendimiento del Modelo: El modelo o3 superó consistentemente a GPT-4o en todos los métodos y métricas, lo que sugiere que los modelos con capacidades de razonamiento más fuertes se benefician más de este enfoque.
• Eficacia del Método:
  • RST1 con o3 produjo la mayor tasa de diagramas de alta calidad (puntuaciones > 3) para la organización lógica (C1).
  • RST2 generalmente funcionó peor que RST1 y 0-shot para la conectividad (C2), probablemente debido a la complejidad de procesar análisis RST generados por LLM como entrada.
  • Los métodos basados en RST generalmente disminuyeron la tasa de alucinaciones factuales y mejoraron la fidelidad al contexto de entrada en comparación con la generación zero-shot.
• Hallazgos de Alucinación:
  • A pesar de utilizar textos fuente verificados, hasta el 20% de los diagramas generados por IA contenían alucinaciones factuales.
  • Complejidad del Contexto: Una mayor complejidad en los textos fuente (nivel avanzado) se correlacionó con mayores tasas de alucinación y puntuaciones de calidad de diagrama más bajas.
  • Propagación de Errores: En el pipeline RST2, las alucinaciones del análisis RST inicial (Paso 1) o de la búsqueda de similitud (Paso 2) fueron frecuentemente heredadas por el output final del diagrama.
  • Limitaciones de Autocorrección: Los LLM tuvieron dificultades para detectar y reparar sus propios errores de diseño; el paso de refinamiento (Paso 6) a menudo falló en eliminar las alucinaciones o introdujo nuevos problemas de diseño.
• Evaluación Automatizada: La evaluación automatizada utilizando LLMs (métodos E1, E2, E3) mostró una alineación moderada con las evaluaciones humanas, siendo la reflexión basada en instrucciones (E3) y la combinación de instrucción/ICL (E2) las que arrojaron mejores resultados, particularmente con el modelo o3.

Significancia y Reivindicaciones
El artículo afirma que su método ICL basado en RST ofrece una vía prometedora para mejorar la fiabilidad de los diagramas educativos generados automáticamente al alinear los resultados del modelo con las expectativas del usuario y reducir las inconsistencias de contexto. Sin embargo, los autores mantienen una postura modesta, reconociendo que la naturaleza estocástica de los LLM conduce a una calidad variable y que los pipelines de múltiples pasos introducen riesgos de propagación de errores.

El estudio concluye que, si bien el método propuesto disminuye la alucinación factual y mejora la fidelidad, no es una solución completa. Los autores enfatizan que, debido al riesgo persistente de alucinación, la aplicación de la IA generativa en contextos educativos requiere salvaguardas necesarias para proteger a las partes interesadas clave (profesores y estudiantes). Declaran explícitamente que se requiere una mayor investigación empírica para dar cuenta plenamente de la estocasticidad de los LLM y que su implementación actual, que utiliza un conjunto limitado de ejemplos, no abarca todas las relaciones de coherencia existentes.