Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
Este artículo demuestra que las métricas normalizadas ampliamente utilizadas para la evaluación de modelos de lenguaje multilingües introducen sesgos debido a las diferencias de tokenización y ortografía, y propone que el logaritmo negativo de la verosimilitud a nivel de oración sobre secuencias semánticamente equivalentes ofrece una alternativa más consistente y justa para comparar modelos entre lenguas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, que evoluciona rápidamente, las computadoras están aprendiendo a hablar y escribir en docenas de lenguas humanas. Estas mentes digitales, conocidas como modelos de lenguaje, son entrenadas con vastas bibliotecas de texto para predecir qué palabra sigue en una oración. A medida que estos sistemas se vuelven más poderosos, los investigadores enfrentan un desafío crítico: ¿cómo sabemos si un modelo es verdaderamente bueno en un idioma específico, o si solo es bueno en la forma en que ese idioma se escribe en una computadora? Para responder a esto, los científicos deben medir qué tan bien entiende un modelo el significado de un texto, no solo qué tan eficientemente puede procesar los caracteres o símbolos brutos. El problema es que las herramientas utilizadas actualmente para medir este entendimiento a menudo contienen trampas ocultas. Pueden estar sesgadas por el número de letras en una palabra, el guion específico utilizado para escribir un idioma, o la forma en que la computadora divide una oración en piezas diminutas para su procesamiento. Si estas herramientas están sesgadas, podrían hacer que un modelo parezca brillante en un idioma y torpe en otro, no debido a su inteligencia real, sino por peculiaridades técnicas en cómo se manejan los datos. Esto hace que sea casi imposible comparar justamente qué tan bien se desempeña una inteligencia artificial a través de las diversas lenguas del mundo.
Un equipo de investigadores de la Universidad de Georgetown y EleutherAI se propuso resolver este enigma probando las mismas herramientas utilizadas para juzgar estos modelos. Construyeron un experimento controlado utilizando cincuenta modelos computacionales distintos, cada uno entrenado exclusivamente en un idioma diferente de entre diez. Para asegurar una prueba justa, entrenaron estos modelos con datos paralelos, lo que significa que los modelos aprendieron de textos que expresaban exactamente el mismo significado en diferentes idiomas. Luego probaron estos modelos utilizando seis métodos de medición diferentes que son comunes en el campo. Algunos de estos métodos cuentan el número total de piezas diminutas, o tokens, que un modelo utiliza para entender una oración. Otros cuentan el número de bytes, que son las unidades de almacenamiento digital, o el número de caracteres individuales en la pantalla. Los investigadores también probaron un método que simplemente suma la dificultad total que tiene un modelo para predecir una oración completa, sin dividir esa dificultad por la longitud del texto.
Los resultados revelaron una verdad sorprendente sobre cómo funcionan estas mediciones. Se descubrió que los métodos que dividen el desempeño de un modelo por el número de tokens, bytes o caracteres eran profundamente defectuosos al comparar diferentes idiomas. Estas métricas favorecieron consistentemente a los idiomas que naturalmente usan menos caracteres o bytes para expresar la misma idea, como el chino, mientras que penalizaron a los idiomas que requieren secuencias más largas de símbolos. En un ejemplo impactante, un modelo entrenado solo en inglés mostró un desempeño "mejor" en ruso que en inglés cuando se midió con estos métodos defectuosos, simplemente porque la computadora dividió el texto en ruso en más piezas, reduciendo artificialmente la puntuación. Esto sucedió incluso aunque el modelo nunca había visto el ruso y se desempeñaba mal en él en la realidad. El estudio demostio que estas métricas populares no estaban midiendo la inteligencia o el entendimiento real del modelo; simplemente estaban reflejando las elecciones de ingeniería realizadas cuando se configuró la computadora para leer el texto.
En contraste, el método que sumó la dificultad total de una oración sin dividirla por su longitud resultó ser el único enfoque justo. Esta medida, que los investigadores llaman log-verosimilitud negativa a nivel de oración, observó el esfuerzo total que el modelo ejerció para entender el significado completo de un texto. Debido a que no intentó normalizar la puntuación basándose en qué tan largo era el texto en términos de letras o almacenamiento digital, se mantuvo estable independientemente del guion del idioma o del tamaño del vocabulario de la computadora. Cuando los investigadores probaron este método en modelos multilingües grandes y del mundo real, fue la única métrica que identificó correctamente qué idiomas habían sido mejor aprendidos por los modelos, coincidiendo con la composición conocida de sus datos de entrenamiento. Las otras métricas continuaron produciendo clasificaciones distorsionadas por los detalles técnicos de cómo se almacenaba y procesaba el texto.
Los investigadores también investigaron si estas mediciones se mantenían consistentes cuando el mismo significado se expresaba de diferentes maneras. Encontraron que, mientras algunas métricas fluctuaban salvajemente dependiendo de qué traducción o paráfrasis se utilizara, el método a nivel de oración se mantuvo constante. Esto sugiere que la estabilidad aparente de los otros métodos era una ilusión creada por su sensibilidad a los detalles superficiales, en lugar de ser una señal de verdadera confiabilidad. El estudio concluye que, para entender realmente qué tan bien funciona la inteligencia artificial a través de diferentes culturas e idiomas, los científicos deben dejar de confiar en métricas que cuentan tokens, bytes o caracteres. En su lugar, deben usar medidas que respeten el significado total del texto, asegurando que la evaluación refleje el aprendizaje real del modelo en lugar de las peculiaridades de su representación digital. Este cambio es esencial para construir sistemas que sean verdaderamente justos y efectivos para todos, independientemente del idioma que hablen.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.