Evaluating and Mitigating Hallucinations in Retrieval-Augmented Question Answering over Uzbek School Textbooks

En el aula moderna, los estudiantes recurren cada vez más a la inteligencia artificial para explicar conceptos difíciles, resumir capítulos o prepararse para exámenes. Estos asistentes digitales están construidos sobre modelos de lenguaje extensos, sistemas entrenados con vastas cantidades de texto que pueden generar respuestas fluidas, seguras y, a menudo, convincentes. Sin embargo, surge un riesgo distintivo cuando un estudiante hace una pregunta cuya respuesta aún no conoce: carece del conocimiento para verificar la respuesta. Si el sistema inventa un hecho, el error pasa desapercibido y el estudiante aprende algo falso. Para solucionar esto, los investigadores han desarrollado un método llamado generación aumentada por recuperación. En lugar de confiar únicamente en la memoria interna del modelo, el sistema primero busca en un documento específico y confiable —como un libro de texto escolar— para encontrar el pasaje relevante antes de responder. Esto mantiene la respuesta anclada en la realidad, pero no garantiza la perfección. El sistema aún podría fallar al encontrar el pasaje correcto, o podría encontrar el pasaje correcto y luego ignorarlo, o podría malinterpretar lo que encontró.

Esta incertidumbre es particularmente aguda en el uzbeko, una lengua hablada por millones de personas pero considerada de "bajos recursos" en el mundo de la inteligencia artificial. A diferencia del inglés, que domina los datos utilizados para entrenar estos modelos, el uzbeko cuenta con menos textos digitales disponibles. Además, el uzbeko es una lengua aglutinante, lo que significa que una sola palabra raíz puede modificarse con muchos sufijos diferentes para crear una vasta gama de formas superficiales. Un estudiante que pregunte sobre la "independencia" podría usar una forma de la palabra que se vea completamente diferente de la utilizada en el libro de texto, causando que el sistema de búsqueda pierda la respuesta por completo. Hasta ahora, no había una forma estándar de probar qué tan bien funcionan estos sistemas para la historia de Uzbek o de medir qué tan seguido inventan cosas.

Un estudio reciente del investigador independiente Ruzimboy Kholmurotov aborda este vacío construyendo un conjunto de pruebas específico llamado UzHistQA, basado en un libro de texto oficial de historia de décimo grado que cubre los años 1917 a 1991. El investigador analizó el libro de texto y encontró un obstáculo lingüístico significativo: de casi 31,000 palabras en el libro, más de la mitad de las formas de palabras únicas aparecían solo una vez. Esta variedad extrema significa que una búsqueda simple de coincidencias exactas de palabras es probable que falle. Para probar cómo superar esto, el estudio creó 56 preguntas, incluyendo algunas que el libro de texto simplemente no podía responder, para ver si el sistema admitiría su ignorancia o inventaría una respuesta. El investigador comparó entonces cuatro formas diferentes de ejecutar el sistema: una que dependía únicamente de su memoria interna, una que buscaba en el libro de texto usando una búsqueda semántica estándar, una que combinaba eso con una búsqueda por palabras clave, y una versión final que estaba estrictamente instruida para citar su fuente y negarse a responder si la evidencia faltaba.

Los resultados fueron contundentes. Cuando el sistema dependía solo de su memoria interna sin mirar el libro de texto, realizaba afirmaciones no respaldadas o inventadas en el 91 por ciento de sus respuestas. Fabricó con confianza fechas, nombres y listas para preguntas que el libro de texto no cubría. Cuando se obligó al sistema a mirar el libro de texto primero, la tasa de estas afirmaciones no respaldadas cayó drásticamente al 9 por ciento. Esto confirmó que anclar las respuestas en el texto real es esencial para la fiabilidad. Sin embargo, el estudio también reveló una complicación sorprendente. La versión que utilizó el método de búsqueda más sofisticado, que combinaba la comprensión semántica con la coincidencia de palabras clave, encontró los pasajes correctos con más frecuencia que la búsqueda más simple. No obstante, a pesar de encontrar mejor evidencia, este sistema avanzado produjo más afirmaciones no respaldadas que el más simple. Parece que cuando el sistema recuperaba un conjunto de pasajes más grande y diverso, la información adicional confundía al modelo, llevándolo a realizar inferencias o cálculos incorrectos incluso cuando los hechos estaban allí mismo.

La configuración más efectiva para la seguridad fue la que impuso reglas estrictas: el sistema tenía que citar la página específica para cada afirmación y se le instruyó decir "No lo sé" si el libro de texto no contenía la respuesta. Este enfoque eliminó todas las respuestas fabricadas para las preguntas que el libro de texto no podía responder. La contrapartida fue que el sistema se negó a responder el 14 por ciento de las preguntas que sí podría haber respondido, incluso cuando la respuesta estaba presente en el texto recuperado. El investigador concluye que, para un entorno educativo, esta negativa es una característica necesaria. Un estudiante que recibe un "No lo sé" puede pedir ayuda a un profesor, pero un estudiante que recibe una respuesta fabricada y segura aprende una falsedad y no tiene forma de saber que es errónea. El estudio establece que, si bien la generación aumentada por recuperación hace que estos sistemas sean viables para la educación en uzbeko, requiere un diseño cuidadoso para evitar que el sistema alucine, y destaca que encontrar la información correcta y escribir una respuesta correcta son dos desafíos distintos que deben medirse de forma independiente.