MGAL: A Multilingual Granularity-Aware Long-Context Benchmark

Imagina intentar leer un libro de mil páginas, pero en lugar de pasar las páginas, te ves obligado a mantener todo el texto en tu mente a la vez, buscando un único dato oculto en algún lugar de en medio. Este es el desafío que enfrentan los sistemas modernos de inteligencia artificial conocidos como modelos de lenguaje de gran tamaño. Estos programas se han vuelto notablemente hábiles para comprender el lenguaje humano, siendo capaces de escribir ensayos, responder preguntas y traducir textos con facilidad. Sin embargo, su capacidad para procesar documentos muy largos —que abarcan decenas de miles de palabras— sigue siendo un obstáculo significativo. Aunque a menudo pueden recordar un dato al principio o al final de un texto, frecuentemente tropiezan cuando la información que necesitan está enterrada en lo profundo del medio, o cuando deben comprender cómo diferentes partes de una historia se conectan para formar un todo coherente. Los investigadores han sospechado durante mucho tiempo que estos sistemas luchan con el problema del "contexto largo", pero hasta ahora, no había una forma integral de probar exactamente dónde y por qué fallan, especialmente cuando se trata de otros idiomas además del inglés.

Un equipo de investigadores ha construido ahora un nuevo campo de pruebas llamado MGAL para resolver este misterio. Construyeron este referente utilizando documentos del mundo real de las Naciones Unidas, específicamente informes que oscilan entre los 8.000 y los 128.000 tokens de longitud. Estos documentos cubren temas globales críticos como los derechos humanos, el mantenimiento de la paz y la salud pública, y están disponibles en seis idiomas oficiales: inglés, chino, francés, ruso, español y árabe. Los investigadores no solo crearon un simple cuestionario; diseñaron un conjunto sofisticado de tareas que prueban los modelos en cuatro niveles diferentes de detalle. En el nivel más fino, los modelos deben encontrar palabras o números específicos. En el siguiente nivel, deben comprender cómo una sola oración encaja en un párrafo. Luego, deben generar párrafos faltantes que tengan sentido en contexto y, finalmente, deben resumir o traducir documentos enteros. Crucialmente, los investigadores también rastrearon exactamente dónde se encontraba la información dentro del texto —ya fuera al principio, en el medio o al final— permitiéndoles ver si los modelos tenían un sesgo hacia ciertas partes del documento.

Cuando los investigadores probaron doce de los modelos de lenguaje más avanzados contra este nuevo referente, los resultados revelaron un patrón claro y constante. Los modelos funcionaron excepcionalmente bien cuando la tarea requería encontrar una palabra o un número específico, demostrando que pueden actuar como motores de búsqueda eficientes para detalles finos. Sin embargo, a medida que las tareas se volvían más amplias y requerían comprender fragmentos de texto más grandes, como resumir un informe completo o completar un párrafo faltante, su rendimiento disminuyó significamente. Los modelos tuvieron dificultades para mantener una comprensión coherente del documento en su totalidad. Además, el estudio destacó una brecha distintiva entre los idiomas de altos recursos, como el inglés y el chino, y los idiomas de bajos recursos. Mientras que los modelos más grandes y costosos se desempeñaron de manera similar en todos los idiomas, los modelos más pequeños y de código abierto mostraron una clara ventaja para los idiomas principales y tuvieron dificultades considerables con los otros.

Quizás los hallazgos más reveladores surgieron al analizar cómo fallaban los modelos. Los investigadores descubrieron que cuando las oraciones de un texto compartían temas similares o repetían los mismos nombres, los modelos tendían a confundirse. En lugar de comprender el papel lógico que desempeñaba una oración —ya fuera proporcionando antecedentes, ofreciendo una conclusión o presentando un contraargumento—, los modelos dependían de pistas superficiales. Elegían la oración que sonaba más similar al texto circundante o que contenía las mismas palabras de conexión, incluso si era la opción incorrecta. Esto es similar a un estudiante que, al pedírsele que resuma una historia, simplemente repite los nombres de los personajes que más recuerda en lugar de explicar lo que realmente sucedió. Además, el estudio encontró que los modelos a menudo producían textos que sonaban fluidos y gramaticalmente perfectos, pero que eran fácticamente erróneos. Inventaban con confianza detalles, fechas o personas que no estaban en el documento original, creando una narrativa de sonido fluido que se alejaba de la verdad.

Los investigadores también confirmaron que la posición de la información importa profundamente. En muchas tareas, los modelos fueron mucho mejores para encontrar respuestas ubicadas al principio o al final de un documento, mientras que el rendimiento cayó notablemente cuando la respuesta estaba en el medio. Esto sugiere que los modelos tienen dificultades para mantener su atención enfocada en el centro de una secuencia larga de texto. Al utilizar este nuevo referente, el equipo ha proporcionado un mapa claro de las limitaciones actuales de la inteligencia artificial en la comprensión de documentos largos. Han demostrado que, si bien estos sistemas son herramientas poderosas para procesar información, todavía carecen de la comprensión profunda y constante requerida para "leer" y comprender verdaderamente informes complejos y extensos en diferentes idiomas. Este trabajo establece un nuevo estándar para la investigación futura, guiando a los desarrolladores para construir modelos que puedan mirar más allá de las pistas superficiales y mantener una comprensión fiel y precisa de toda la historia, sin importar cuán larga sea.