BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
Este artículo presenta BEAR-Bench, un benchmark bilingüe (inglés-ruso) de 1.000 preguntas anotadas por humanos basadas en documentos académicos y empresariales ricos en texto para evaluar las capacidades de razonamiento complejo y la fiabilidad de la detección de alucinaciones de los modelos de lenguaje extensos multimodales, revelando brechas de rendimiento significativas incluso entre los sistemas de vanguardia.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo moderno, las computadoras se han vuelto notablemente buenas para mirar imágenes y leer las palabras dentro de ellas. Si le muestras a una máquina la foto de una señal de tráfico, puede decirte lo que dice la señal. Si le muestras un gráfico de un reporte de noticias, a menudo puede describir la tendencia que está siguiendo la línea. Esta capacidad, conocida como comprensión multimodal, combina la visión y el lenguaje en una sola habilidad. Durante mucho tiempo, el desafío fue simplemente lograr que la máquina leyera el texto con claridad. Pero el siguiente paso, más difícil, es el razonamiento. Este es la capacidad de mirar un documento complejo, encontrar varias piezas de información diferentes dispersas por una página y conectarlas para responder a una pregunta que no está escrita en ninguna parte. Imagine un informe financiero lleno de tablas, gráficos y párrafos de texto. Un experto humano puede mirar un número en una tabla, compararlo con una tendencia en un gráfico y luego leer una oración en el texto para entender por qué cambiaron esos números. Enseñar a una computadora a realizar este mismo tipo de pensamiento, especialmente cuando el documento es denso en información y está escrito en idiomas distintos al inglés, ha seguido siendo una frontera difícil.
Un equipo de investigadores de Yandex y del Applied AI Institute ha dado un paso significativo hacia la resolución de este problema mediante la creación de una nueva prueba diseñada específicamente para este tipo de pensamiento complejo. Llaman a su creación BEAR-Bench. A diferencia de las pruebas anteriores que se centraban en la lectura simple o requerían que la computadora conociera hechos externos, este nuevo benchmark pide a las máquinas que resuelvan problemas utilizando únicamente la información presente en una sola página de un documento. La prueba es bilingüe, contando tanto con inglés como con ruso, una elección que resalta una brecha en la tecnología actual donde las máquinas suelen tener dificultades con idiomas que no sean el inglés o el chino. Los investigadores recopilaron mil documentos del mundo real, que van desde informes financieros corporativos y presentaciones para inversores hasta artículos científicos académicos. Estas páginas no son simples; están repletas de texto, tablas, gráficos, diagramas y fórmulas matemáticas.
Para construir esta prueba, los investigadores no se limitaron a pedir a las computadoras que generaran preguntas. Contrataron a trece expertos humanos, cada uno con un título en un campo técnico, para escribir las preguntas y respuestas a mano. Para cada imagen de página, un experto tuvo que crear una pregunta que requiriera varios pasos para resolverse. Por ejemplo, una pregunta podría pedir a la computadora que encuentre un valor específico en una tabla, observe cómo cambió ese valor en un gráfico relacionado y luego lea una oración en el texto para explicar la razón de ese cambio. La computadora no tenía permitido usar ningún conocimiento externo; debía encontrar la respuesta enteramente dentro de la imagen proporcionada. Esto aseguró que la prueba midiera la capacidad de la máquina para razonar con el documento frente a ella, en lugar de su capacidad para memorizar hechos de internet. Los investigadores también filtraron cuidadosamente los documentos para asegurar que contuvieran suficiente complejidad visual, como diagramas y ecuaciones, para que la tarea fuera desafiante.
Cuando los investigadores sometieron a dieciséis modelos diferentes de inteligencia artificial a esta prueba, los resultados revelaron un panorama claro de dónde se encuentra la tecnología hoy en día. Los modelos con mejor desempeño, que son los sistemas más avanzados disponibles actualmente, lograron responder correctamente alrededor del setenta y cinco por ciento de las preguntas. Aunque esto pueda sonar impresionante, también significa que incluso las máquinas más inteligentes todavía cometen errores en aproximadamente una de cada cuatro preguntas. El estudio encontró que estos modelos funcionan notablemente peor cuando los documentos están en ruso en comparación con el inglés, confirmando que el idioma sigue siendo un obstáculo significativo. Además, el tipo de documento importaba; los modelos tendían a tener más dificultades con los reportes de negocios que con los artículos científicos, y tuvieron problemas particulares cuando las preguntas requerían que contaran elementos o combinaran información de diferentes partes de una página.
Los investigadores también analizaron de cerca por qué fallaban las máquinas. Encontraron que los errores más comunes no se debían a una falta de lógica, sino más bien a problemas de percepción simples. Las computadoras a menudo leían mal un número en una tabla, no notaban una etiqueta específica en un gráfico o se confundían sobre hacia dónde apuntaba una flecha en un diagrama. Una vez que la máquina leía mal un solo detalle visual, el resto de su razonamiento se desmoronaba. Esto sugiere que, antes de que estos sistemas puedan convertirse en verdaderos expertos en el análisis de documentos, necesitan volverse mucho mejores en ver los detalles pequeños con claridad.
Más allá de solo probar los modelos, los investigadores utilizaron los resultados para ver si existe una manera de saber cuándo una máquina está cometiendo un error. En muchas situaciones del mundo real, no basta con saber que una computadora podría estar equivocada; se necesita una forma de detectar ese error antes de que cause daño. El equipo probó varios métodos diferentes para detectar estos errores. Encontraron que, para los sistemas cerrados y propietarios donde no podían ver el funcionamiento interno, la mejor manera de detectar un error era utilizar otro modelo de IA potente para actuar como juez y revisar la respuesta. Para los sistemas abiertos donde podían mirar dentro del código, encontraron que revisar las propias señales de confianza interna de la computadora funcionaba bien para respuestas cortas, pero presentaba dificultades cuando la computadora producía explicaciones muy largas y detalladas. El estudio concluye que, si bien estamos progresando, todavía no tenemos una forma perfecta de capturar cada error, y los mejores sistemas aún dejan mucho margen para la mejora.
Este trabajo es importante porque mueve la conversación más allá de la simple lectura. Demuestra que, si bien las máquinas pueden leer texto, todavía están aprendiendo cómo pensar con él. Al crear una prueba que es difícil, bilingüe y enfocada en documentos reales, los investigadores han proporcionado un mapa claro de dónde es fuerte la tecnología y dónde es débil. Han demostrado que el camino a seguir requiere no solo modelos más grandes, sino mejores formas de manejar la realidad desordenada y detallada de los documentos profesionales en múltiples idiomas. Hasta que las máquinas puedan leer de manera confiable un gráfico, cruzar la información con una tabla y explicar la conexión sin perderse en los detalles, su uso en campos de alto riesgo como las finanzas y la ciencia requerirá una supervisión humana cuidadosa.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.