Resumen Técnico: BenHalluEval

Planteamiento del Problema

A pesar de que el bengalí es la sexta lengua más hablada del mundo, no existe una evaluación sistemática de las alucinaciones en los Modelos de Lenguaje de Gran Escala (LLM) para este idioma. Los benchmarks existentes para la detección de alucinaciones (por ejemplo, TruthfulQA, FActScore, HaluEval) se centran principalmente en el inglés u otros idiomas de altos recursos como el árabe y el hindi. Además, los métodos de evaluación actuales suelen depender de protocolos de vía única que solo prueban sobre candidatos alucinados, sin tener en cuenta que los modelos pueden exhibir sesgos de respuesta uniformes (por ejemplo, predecir siempre "alucinación" o "no alucinación"). Adicionalmente, el comportamiento específico de los LLM en entradas de código mixto bengalí-inglés —un patrón de uso común en la comunicación digital en bengalí— permanece sin examinar.

Metodología

Los autores introducen BenHalluEval, un marco de evaluación de alucinaciones multitarea diseñado específicamente para el bengalí y las entradas de código mixto bengalí-inglés. El marco opera a través de un pipeline de tres etapas:

1. Selección y Filtrado del Conjunto de Datos Semilla

El marco construye un benchmark utilizando cuatro tareas distintas, extrayendo información de conjuntos de datos existentes y aplicando estrategias de filtrado específicas para identificar muestras "difíciles" propensas a la alucinación:

• Preguntas Generativas (GQA): Utiliza TyDiQA-GoldP (bengalí). Las muestras fueron filtradas mediante el prompting de tres modelos (Qwen2.5-14B, Gemma-2-9B, DeepSeek-R1-14B) sin contexto; se seleccionaron las instancias donde los tres fallaron como el conjunto semilla (1,000 muestras).
• QA de Código Mixto Bengalí-Inglés: Las 1,000 preguntas semilla de GQA se convirtieron a código mixto bengalí-inglés (escritura romana) usando GPT-5.4, manteniendo las respuestas originales en bengalí.
• Resumen (Summarization): Utiliza BanglaCHQ-Summ (1,800 pares de consulta-resumen médicos). Las muestras fueron filtradas basándose en una baja similitud de F1 de BERTScore cuando fueron resumidas por tres modelos, seleccionando las 1,000 instancias más difíciles.
• Razonamiento: Utiliza SOMADHAN (8,792 problemas matemáticos en bengalí). Las muestras fueron estratificadas por longitud de la cadena de razonamiento (500 más largas, 500 más cortas) para asegurar niveles de dificultad diversos.

2. Generación de Muestras Alucinadas

Utilizando GPT-5.4, los autores generaron 12,000 candidatos alucinados a través de las cuatro tareas. El proceso de generación empleó taxonomías de alucinación específicas para cada tarea:

• GQA y QA de Código Mixto (4 tipos): Veracidad (fabricar hechos), Comprensión (malentender la intención), Especificidad (nivel de detalle inapropiado) e Inferencia (conclusiones no sustentadas).
• Resumen (3 tipos): Contenido Fabricado, Adición No Factual y Contradicción Directa.
• Razonamiento (5 tipos): Deslizamiento Aritmético, Aplicación Incorrecta de Fórmulas, Deducción Inválida, Hecho Intermedio Alucinado y Deriva Semántica.

3. Protocolo de Evaluación de Doble Vía

Para abordar las limitaciones de la evaluación de vía única, los autores proponen un protocolo de doble vía evaluado en siete LLMs (que abarcan categorías orientadas al razonamiento, multilingües y centradas en el bengalí):

• Vía A (Track A): Presenta respuestas correctas de verdad fundamental (ground-truth). El veredicto esperado es "No" (no alucinado). Esto mide la Tasa de Falsos Positivos.
• Vía B (Track B): Presenta los candidatos alucinados generados. El veredicto esperado es "Sí". Esto mide la Tasa de Detección de Alucinaciones.

4. BenHalluScore (BHS)

Los autores introducen el BenHalluScore, una métrica de calibración diseñada para penalizar conjuntamente ambos modos de fallo (falsos positivos en la verdad fundamental y fallos de detección en datos alucinados).
$$\text{BenHalluScore} = \frac{1}{2} \left( \frac{W_A}{N_A} + \frac{W_B}{N_B} \right) \times 100\%$$
Donde $W$ representa los veredictos erróneos y $N$ representa el total de instancias por vía; un puntaje menor indica una mejor calibración; un puntaje de 50% implica un comportamiento aleatorio o uniformemente sesgado.

Resultados Clave

La evaluación de siete modelos (incluyendo DeepSeek-R1-14B, GPT-4.1 mini, Qwen2.5-32B, Gemma-2-27B, Mistral-nemo-12B, LLaMA-3.1-8B y TigerLLM-9B) reveló variaciones significativas en el rendimiento:

• Rango de Rendimiento: Los BenHalluScores oscilaron entre el 7.72% (Qwen2.5-32B en Resumen) y el 55.42% (Mistral-nemo-12B en QA de Código Mixto).
• Varianza de Tareas: Las tareas de Resumen generalmente arrojaron puntajes más bajos (mejores) que las de GQA o Razonamiento, lo que sugiere que el acceso a documentos fuente completos ayuda a la consistencia factual. Las tareas de Razonamiento mostraron la mayor dispersión de rendimiento, indicando una alta dificultad en la detección de alucinaciones de razonamiento en bengalí.
• Categorías de Modelos:
  • GPT-4.1 mini logró el mejor equilibrio en GQA (15.56%), manteniendo errores bajos en ambas vías.
  • TigerLLM-9B (un modelo centrado en el bengalí) superó significativamente a modelos multilingües mucho más grandes en GQA y Resumen, sugiriendo que el preentrenamiento específico del idioma es un predictor de calibración más fuerte que el conteo de parámetros.
  • Mistral-nemo-12B y LLaMA-3.1-8B exhibieron sesgos sistemáticos severos. Por ejemplo, Mistral-nemo-12B marcó casi todas las respuestas correctas como alucinaciones (87.70% de error en la Vía A), mientras que LLaMA-3.1-8B falló en detectar la mayoría de las alucinaciones (81.63% de error en la Vía B).
• Código Mixto vs. Escritura Nativa: Algunos modelos multilingües (Qwen2.5, Gemma-2, DeepSeek-R1) funcionaron mejor en entradas de código mixto bengalí-inglés que en la escritura nativa bengalí, probablemente debido a representaciones más ancladas en el inglés. Por el contrario, TigerLLM-9B y GPT-4.1 mini funcionaron mejor en el bengalí nativo.
• Mitigación (Cadena de Pensamiento - CoT): Aplicar el prompting de Cadena de Pensamiento (CoT) no mejoró consistentemente la discriminación de alucinaciones. En varios casos, el CoT simplemente desplazó el sesgo de un modelo de un "No" uniforme a un "Sí" uniforme (o viceversa), sin mejorar genuinamente la precisión de la detección.

Significación y Contribuciones

El artículo reclama las siguientes contribuciones y significancia:

1. Primer Benchmark Dedicado: BenHalluEval establece el primer benchmark dedicado a las alucinaciones para el bengalí, cubriendo tanto entradas nativas como de código mixto.
2. Calibración de Doble Vía: El trabajo destaca la insuficiencia de la evaluación de vía única para idiomas de bajos recursos. Al introducir la Vía A y la Vía B, revela modos de fallo (sesgo de respuesta uniforme) que de otro modo quedarían ocultos por altas tasas de detección en datos alucinados únicamente.
3. Optimización Específica del Idioma: Los resultados desafían la suposición de que mayores conteos de parámetros garantizan un mejor rendimiento en entornos de bajos recursos, demostrando que el preentrenamiento centrado en el bengalí (TigerLLM-9B) puede producir una mejor calibración en comparación con modelos multilingües más grandes.
4. Limitaciones del Prompting: El estudio proporciona evidencia empírica de que el prompting de CoT no es una estrategia de mitigación universal para las alucinaciones en bengalí, ya que a menudo altera las distribuciones de predicción sin mejorar las capacidades de discriminación.

Los autores concluyen que la evaluación fiable de las alucinaciones para el bengalí requiere marcos especializados de doble vía y que las estrategias de prompting actuales por sí solas son insuficientes para mitigar las alucinaciones en este dominio. El conjunto de datos y el código se ponen a disposición para facilitar la investigación posterior.