💻 computer science

How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models

Este artículo introduce y valida un marco sistemático para auditar la fiabilidad de los benchmarks de LLM en bengalí mediante la detección de la contaminación de datos translingüísticos y la medición de la robustez frente a perturbaciones, revelando que los resultados piloto iniciales muestran un rendimiento apenas por encima de los niveles de azar.

Autores originales: Md Fahim Faisal Tanha

Publicado 2026-08-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Md Fahim Faisal Tanha

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de juzgar qué tan bueno es un nuevo estudiante resolviendo problemas matemáticos. Le das un examen, obtiene una puntuación alta y lo declaras un genio. Pero, ¿qué pasaría si, antes del examen, hubiera memorizado secretamente la clave de respuestas? O ¿qué pasaría si hubiera visto los mismos problemas en un idioma diferente y simplemente hubiera adivinado las respuestas basándose en eso? Este es el complicado mundo de las pruebas de Inteligencia Artificial (IA). Los científicos construyen "Modelos de Lenguaje Extensos" (LLM, por sus siglas en inglés)—programas informáticos superinteligentes que pueden leer, escribir y chatear en muchos idiomas. Para ver si estos programas son realmente inteligentes o solo buenos memorizando, los investigadores les aplican pruebas estandarizadas llamadas "benchmarks".

Sin embargo, existe un problema escurridizo llamado "contaminación". Es como si un profesor accidentalmente hubiera dejado la clave de respuestas sobre su escritorio y el estudiante la encontrara antes del examen. El estudiante obtiene una puntuación perfecta, pero no aprendió el material; simplemente memorizó las respuestas. Esto es algo muy importante porque si las pruebas están "contaminadas", no podemos confiar en las puntuaciones. Podríamos pensar que una IA es excelente en un idioma como el bengalí (hablado por cientos de millones de personas) cuando en realidad solo ha visto la versión en inglés de la prueba anteriormente.

Ahora, veamos un nuevo estudio que actúa como un detective, investigando si estas pruebas de IA para el idioma bengalí son justas o si están llenas de filtraciones ocultas.

El trabajo de detective: Auditoría de las pruebas de IA en bengalí

Los investigadores en este artículo se están haciendo una pregunta muy importante: ¿Son las puntuaciones que vemos para los modelos de IA en las pruebas de bengalí reales, o están infladas debido a la exposición previa?

Se centraron en el bengalí porque es un idioma masivo que apenas ha comenzado a tener sus propias pruebas de IA. Muchas de estas pruebas son traducciones directas de famosos exámenes en inglés. El equipo temía que, si un modelo de IA había visto la versión en inglés de una pregunta durante su entrenamiento, podría ser capaz de adivinar la respuesta en bengalí sin entender realmente el bengalí. Esto se llama "contaminación translingüística".

Para resolver este misterio, los investigadores construyeron un "marco de auditoría" especial—un conjunto de herramientas para verificar la exposición previa. Utilizaron tres métodos principales:

La verificación de "verosimilitud": Observaron qué tan sorprendida estaba la IA por las preguntas del examen. Si la IA había visto la pregunta antes, no se sorprendería; sería muy segura. Si la veía por primera vez, sería más vacilante.
La prueba de "completar el espacio en blanco": Intentaron engañar a la IA ocultando una de las respuestas incorrectas en una pregunta de opción múltiple y le pidieron que adivinara cuál era la palabra faltante. Si la IA podía adivinar la palabra exacta que faltaba, es probable que tuviera todo el examen memorizado.
La búsqueda de la "verdad fundamental" (Ground Truth): Para algunos modelos que son completamente abiertos (donde podemos ver exactamente con qué datos fueron entrenados), buscaron literalmente en los datos de entrenamiento para ver si las preguntas del examen estaban allí.

También probaron la robustez. Esto es como cambiar ligeramente la redacción de una pregunta—cambiando un número o añadiendo una frase tonta e irrelevante—para ver si la IA sigue acertando. Si la puntuación de la IA cae drásticamente cuando cambias la pregunta ligeramente, sugiere que la IA no estaba realmente "pensando"; solo estaba memorizando el patrón exacto.

Lo que encontraron (hasta ahora)

Los investigadores no se limitaron a hablar de la teoría; de hecho, realizaron una pequeña prueba "piloto" para ver si sus herramientas de detective funcionaban. Utilizaron un modelo de IA más pequeño (llamado Qwen2.5-1.5B) y lo probaron con 500 preguntas de un examen de comprensión lectora en bengalí llamado BoolQ-bn.

Esto es lo que reveló el piloto:

La puntuación fue apenas mejor que el azar: El modelo obtuvo una precisión de 0.568. Dado que este es un examen de preguntas de sí/no, un intento al azar obtendría un 0.50. El modelo solo hizo unos 7 puntos más que el puro azar. Esto sugiere que, a este tamaño, el modelo aún no tiene un conocimiento sólido de la comprensión lectora en bengalí.
La prueba de "exposición previa" fue inconclusa: Intentaron ver si el modelo había memorizado las respuestas utilizando sus herramientas de verosimilitud, pero necesitaban un conjunto de "control" de preguntas (preguntas que el modelo definitivamente no había visto) para comparar. Esa parte todavía se está terminando.
La prueba de "distracción": Añadieron una frase distractora a las preguntas para ver si la IA se confundía. La puntuación del modelo bajó ligeramente a 0.558, pero la diferencia no fue estadísticamente significativa (las matemáticas dicen que podría ser simplemente ruido aleatorio). Esto significa que el piloto fue demasiado pequeño para decir con certeza si el modelo era frágil o no.

El panorama general

La principal conclusión de este artículo no es un veredicto final sobre si la IA en bengalí presenta exposición previa o no. En cambio, este artículo es un plan maestro sobre cómo averiguarlo.

Los investigadores han construido un conjunto de herramientas completo y de código abierto que cualquiera puede usar para auditar estas pruebas. Han enumerado todos los benchmarks disponibles en bengalí, crearon un protocolo para verificar la contaminación y demostraron que es posible realizar estas costosas pruebas con recursos informáticos gratuitos (como Google Colab).

Actualmente están realizando la auditoría completa en muchos más modelos y benchmarks. El piloto demostró que el sistema funciona, pero los resultados completos aún se están calculando. El artículo argumenta que, hasta que realicemos estas auditorías, no podemos estar seguros de si las altas puntuaciones que vemos para la IA en bengalí son inteligencia real o simplemente el resultado de que los modelos hayan visto las respuestas en inglés antes.

En resumen, este artículo es un llamado a la acción: "Dejemos de adivinar si la IA es inteligente en bengalí y empecemos a usar estas herramientas de detective para demostrarlo". Se están asegurando de que, cuando digamos que una IA es buena en un idioma, sea porque realmente entiende el idioma, no porque memorizó el examen.

Resumen Técnico: Fiabilidad de los Benchmarks de LLM en Bengalí

1. Planteamiento del Problema

El bengalí, hablado por aproximadamente 250 millones de personas, ha experimentado recientemente una proliferación de benchmarks de evaluación para Modelos de Lenguaje de Gran Escala (LLM). Sin embargo, la fiabilidad de estos benchmarks se ve comprometida por dos amenazas primarias:

Contaminación de Datos de Benchmark (BDC): Los ítems de evaluación se filtran frecuentemente en los corpus de entrenamiento de los modelos. Crucialmente, esta contaminación es translingüística; los modelos entrenados en textos fuente en inglés pueden lograr puntuaciones infladas en sus traducciones al bengalí sin haber visto nunca el texto traducido. Dado que la mayoría de los benchmarks en bengalí son traducciones directas de conjuntos de prueba en inglés, son estructuralmente vulnerables a este riesgo.
Falta de Robustez: El rendimiento en benchmarks de lenguas de bajos recursos puede reflejar una memorización superficial en lugar de una capacidad genuina. Evidencia reciente sugiere que las puntuaciones pueden colapsar ante perturbaciones semánticamente equivalentes, pero esta fragilidad no ha sido auditada sistemáticamente para el bengalí.

A pesar de la rápida adopción de estos benchmarks para decisiones de despliegue en educación y servicios públicos, ningún estudio previo ha auditado los benchmarks de bengalí en busca de contaminación o robustez. Esto deja en duda la validez de las puntuaciones de rendimiento reportadas.

2. Metodología

El autor presenta un marco de auditoría sistemática diseñado para evaluar la fiabilidad de los benchmarks de LLM en bengalí. El marco se aplica a modelos de pesos abiertos (1B–9B parámetros) para aprovechar el acceso a las probabilidades a nivel de token y, en algunos casos, al corpus completo de preentrenamiento.

2.1 Componentes del Marco de Auditoría

El marco emplea una triangulación de tres familias de detección:

Señales basadas en la Verosimilitud (Min-K% Prob): Mide la probabilidad logarítmica promedio de los $k\%$ tokens menos probables para los ítems del benchmark. Los ítems presentes en los datos de entrenamiento suelen exhibir puntuaciones más altas. Esto se compara contra un conjunto de prueba privado y nunca publicado, y un control temporal (modelos Pythia entrenados antes de la existencia de los benchmarks).
Pruebas basadas en la Generación (TS-Guessing): Para preguntas de opción múltiple, se le pide al modelo que reconstruya una opción incorrecta enmascarada. Una precisión significativamente superior a una línea base de azar indica la memorización del archivo de prueba en lugar de la comprensión de la tarea.
Búsqueda en el Corpus de Verdad Fundamental (Ground-Truth): Para modelos con corpus de preentrenamiento totalmente públicos (Nivel B: OLMo, Pythia, BLOOM), el marco realiza búsquedas de solapamiento exacto de 13-gramas contra los datos de entrenamiento (Dolma, The Pile, ROOTS) tanto en sus formas en bengalí como en inglés.

2.2 Análisis de Contaminación Translingüística y Robustez

Contaminación Translingüística (RQ2): Utilizando el diseño paralelo bengalí-inglés de BEnQA, el estudio compara las señales de memorización y la precisión entre los ítems fuente en inglés y sus contrapartes en bengalí. Evalúa si una memorización más fuerte en la fuente en inglés predice respuestas correctas en la traducción al bengalí.
Auditoría de Robustez (RQ3): El marco aplica perturbaciones que preservan el significado a los ítems del benchmark, incluyendo:
- Reordenamiento de opciones (para MCQs).
- Inserción de oraciones distractoras.
- Sustitución numérica (para problemas matemáticos).
- Parafraseo mediante traducción automática de ida y vuelta (round-trip).
- El estudio mide el delta en la precisión y la estabilidad de los rankings del modelo bajo estas perturbaciones.

2.3 Configuración Experimental

Modelos: Los modelos auditados incluyen Llama-3.2, Qwen2.5, Gemma-2, Mistral, TituLLM, TigerLLM, OLMo, Pythia y BLOOM.
Benchmarks: Un inventario curado de 8 benchmarks públicos en bengalí (ej. BEnQA, Bangla MMLU, BanglaMATH, BoolQ-bn), distinguiendo entre fuentes nativas (autores en bengalí) y traducidas (derivadas del inglés).
Cómputo: Todos los experimentos se realizaron en computación de GPU de nivel gratuito (Kagremos/Google Colab) utilizando cuantización de 4 bits para los modelos más grandes.
Piloto: Un piloto completado evaluó Qwen2.5-1.5B-Instruct en una submuestra de 500 ítems de BoolQ-bn.

3. Contribuciones Clave

Inventario Curado: Un inventario versionado y documentado de los benchmarks de LLM en bengalí públicos, detallando procedencia, tamaño, licencias y métodos de construcción.
Protocolo de Auditoría de Contaminación: El primer protocolo específicamente para el bengalí, que combina métodos de verosimilitud, generación y búsqueda en corpus.
Prueba Translingüística: Un diseño experimental novedoso utilizando datos paralelos (BEnQA) para aislar y medir la contaminación translingüística.
Instrumento de Robustez: Una suite de perturbaciones para medir la estabilidad de las puntuaciones y los cambios en el ranking, vinculando la fragilidad con la posible contaminación.
Lanzamiento Público: Todo el código, los manifiestos de datos y los resultados de la auditoría por ítem se liberan públicamente para permitir la re-auditoría de la comunidad.

4. Resultados del Piloto

El estudio piloto sobre Qwen2.5-1.5B-Instruct (500 ítems de BoolQ-bn) arrojó lo siguiente:

Precisión: 0.568 (IC 95% [0.524, 0.610]), lo cual está apenas por encima del nivel de azar de 0.50 para una tarea binaria. El modelo superó a la línea base de la clase mayoritaria por solo 3.4 puntos porcentuales.
Robustez: Una perturbación de distractor desplazó la precisión en -1.0 punto porcentual (0.568 a 0.558). La prueba de McNemar en ítems discordantes no fue estadísticamente significativa ( $p=0.302$ ), aunque el autor señala que el tamaño de la muestra del piloto no tenía suficiente potencia para detectar deltas pequeños.
Señales de Contaminación: El Min-K% Prob medio fue -3.767. Las puntuaciones completas de AUROC para la detección de contaminación están pendientes de la comparación con el conjunto de prueba privado.
Viabilidad: El piloto confirmó que una celda completa de auditoría de modelo $\times$ benchmark (precisión + Min-K% + perturbación) puede ejecutarse en aproximadamente 0.56 horas de GPU en una sola GPU T4.

5. Significado y Reivindicaciones

El artículo se posiciona como la primera auditoría sistemática de los benchmarks de LLM en bengalí. Su importancia radica en:

Pregunta Fundamental: Desafía la interpretación de las puntuaciones altas en los benchmarks de bengalí, preguntando si reflejan una capacidad genuina o la memorización de datos filtrados.
Rigor Metodológico: Al combinar tres familias de detección distintas y utilizar un control temporal (Pythia), el estudio pretende proporcionar una evidencia más sólida que los enfoques de un solo método.
Escalabilidad: El marco está diseñado para ser agnóstico al idioma y lo suficientemente económico computacionalmente (compatible con niveles gratuitos) como para aplicarse a otros idiomas de tamaño medio dependientes de la traducción.
Utilidad para la Comunidad: La liberación del protocolo e inventario permite a la comunidad monitorear continuamente la fiabilidad de los benchmarks de bengalí a medida que surgen nuevos modelos y conjuntos de datos.

El autor establece explícitamente que la cuadrícula de auditoría completa (que cubre todos los modelos y benchmarks) está actualmente en progreso, y este manuscrito reporta el marco, el inventario, el protocolo y el piloto completado. Mantiene una postura modesta, señalando que los detectores basados en la verosimilitud proporcionan evidencia en lugar de pruebas definitivas para los modelos de pesos abiertos, y que la ausencia de una señal no garantiza que un benchmark esté limpio.