Resumen Técnico: MULTIHALUDET

Declaración del Problema

Las alucinaciones en los Modelos de Lenguaje Grandes (LLM) constituyen una barrera crítica para su despliegue fiable, particularmente en contextos no ingleses y con recursos limitados. Los métodos de detección existentes enfrentan limitaciones significativas:

• Métodos basados en evidencia dependen de la recuperación externa, lo que introduce latencia computacional y dependencia de la calidad de dicha recuperación.
• Heurísticas basadas en confianza (por ejemplo, probabilidades de logit, entropía) a menudo no logran capturar inconsistencias factuales profundas, ya que las alucinaciones pueden manifestarse como confabulaciones a nivel semántico incluso cuando el modelo exhibe una alta confianza en la salida.
• Métodos de sondeo de estado interno suelen centrarse en tokens individuales o capas específicas, teniendo dificultades cuando los tokens no factuales se distribuyen a lo largo de secuencias o cuando los modelos varían en profundidad. Además, estos métodos carecen frecuentemente de robustez a través de lenguajes tipológicamente diversos sin un ajuste fino específico del idioma.

Metodología: MULTIHALUDET

Los autores proponen MULTIHALUDET, un marco supervisado de cuatro etapas diseñado para detectar alucinaciones multilingües mediante el sondeo de las trayectorias completas de los estados ocultos de LLMs congelados. El marco opera sin requerir ajuste fino específico del idioma.

1. Extracción de Características Basada en LLM

El proceso comienza pasando prompts estructurados a través de un LLM congelado y cuantizado para extraer tensores de estado oculto $\{H^{(l)}\}_{l=0}^L$.

• Muestreo Dinámico de Capas: Para garantizar compatibilidad entre modelos de profundidades variables ($L$), una estrategia de muestreo dinámico mapea las capas a un conteo objetivo fijo ($K=32$). Esto implica un mapeo de identidad para modelos poco profundos, repetición para relleno e interpolación uniforme para modelos profundos.
• Características Secuenciales por Capa: Para cada capa muestreada, el marco extrae descriptores compactos tanto de la representación del último token como de la media de la secuencia. Estos descriptores incluyen estadísticas distribucionales (por ejemplo, norma $\ell_2$, media, desviación estándar, dispersión, curtosis y Desviación Absoluta Mediana) para capturar la evolución de la dinámica interna.
• Sondeo de Profundidad Basado en Anclajes: Para permitir la comparación entre arquitecturas, las características se extraen de cuatro capas "ancla" que corresponden a fracciones proporcionales de profundidad (etapas temprana, media y tardía), asegurando una representación semántica consistente independientemente de la profundidad total del modelo.
• Vector de Características Global: Un vector global agrega probabilidades del siguiente token, estadísticas de logit, trayectorias de norma por capa y términos de interacción cruzada entre la confianza de salida y la geometría interna.

2. Arquitectura MultiHaluDet

Las características extraídas se procesan a través de una arquitectura de aprendizaje profundo:

• Atención Multi-Escala: La entrada secuencial se proyecta y procesa a múltiples resoluciones temporales. Una puerta aprendida por posición combina contribuciones de diferentes escalas, enriqueciendo la información de capa fina con contexto multi-escala.
• Codificador Transformer Ponderado por Capas: Un vector de importancia aprendible modula la secuencia fusionada antes de que sea codificada por una pila de capas Transformer Pre-LN. Esto permite que el modelo atienda a profundidades específicas de LLM y capture dependencias inter-capas de largo alcance.
• Agrupación por Atención Auto-Atención: En lugar de agrupación por media, un mecanismo de atención aprendido asigna puntuaciones de relevancia a cada posición, permitiendo una selección de profundidad adaptativa a la entrada para centrarse en las capas más informativas.
• Fusión Puenteada: La representación secuencial se concatena con el vector de características global. Una puerta sigmoide realiza un re-peso elemento a elemento para suprimir dimensiones no informativas antes de pasar el resultado a un clasificador.

3. Apilamiento Fuera de Pliegue (OOF)

Para prevenir la fuga de datos y obtener representaciones profundas imparciales, el marco emplea apilamiento OOF de K-pliegues. Una instancia fresca del modelo se entrena en $K-1$ pliegues para generar representaciones de fusión puenteada para el pliegue retenido. Estas características OOF forman una matriz de entrenamiento robusta para el meta-aprendiz.

4. Meta-Aprendiz de Conjunto

Las características profundas OOF sirven como entrada para un conjunto diverso de clasificadores (Árboles Impulsados por Gradiente, Bosques Aleatorios, SVM, MLP, Regresión Logística). Un meta-regresor logístico apila las estimaciones de probabilidad de estos aprendices base, adaptando la composición del conjunto a la fuerza discriminativa de cada componente.

5. Adaptación Multilingüe

Para evaluar la generalización cruzada de idiomas, los conjuntos de datos en inglés (HaluEval y TriviaQA) se tradujeron al francés (alto recurso), bengalí (recurso medio) y amárico (bajo recurso) utilizando Gemini 2.5 Flash. Una evaluación humana rigurosa y la retrotraducción aseguraron la integridad semántica. El LLM congelado procesa estas entradas nativamente en sus respectivos espacios de tokens, permitiendo que el detector sondee señales de alucinación agnósticas al idioma.

Contribuciones Clave

1. Diseño del Marco: Introducción de MULTIHALUDET, un marco de cuatro etapas que combina extracción dinámica de características, atención multi-escala, generación de características profundas OOF y meta-aprendizaje de conjunto aprendido para capturar patrones tanto finos como gruesos de inconsistencia factual.
2. Ganancias de Rendimiento: Demostración de un rendimiento de detección de vanguardia en los benchmarks HaluEval y TriviaQA utilizando Mistral-7B y LLaMA2-7B, logrando hasta un 98.55% de AUROC.
3. Generalización Cruzada de Idiomas: Evaluación exhaustiva que muestra que el marco mantiene señales de detección fuertes a través de niveles lingüísticos tipológicamente diversos (francés, bengalí, amárico) sin ajuste fino específico del idioma.

Resultados

• Rendimiento en Benchmark: MULTIHALUDET supera significativamente a 13 líneas base, incluidos métodos basados en confianza (P(True), AvgProb), métodos basados en consistencia (INSIDE, Unigram) y otros enfoques de sondeo (SAPLMA, MIND, EDOs/EDCs/EDs Neuronales).
  • En HaluEval con LLaMA2-7B, logró un 98.55% de AUROC, comparado con la siguiente mejor línea base (EDCs Neuronales) en 92.8%.
  • En TriviaQA con LLaMA2-7B, logró un 98.26% de AUROC, comparado con 83.7% para la siguiente mejor.
• Robustez Cruz-Arquitectura: A diferencia de las líneas base que sufren caídas de rendimiento al cambiar de Mistral-7B a LLaMA2-7B, MULTIHALUDET mantuvo una eficacia casi idéntica a través de arquitecturas.
• Robustez Cruz-Idioma:
  • Francés: El rendimiento se mantuvo alto (96.2% en HaluEval), quedando ligeramente por detrás de las líneas base en inglés.
  • Bengalí: Mostró una degradación controlada (89.1% en HaluEval) pero superó significativamente a las líneas base (78.4%).
  • Ámárico: A pesar de ser un idioma de bajo recurso donde los modelos base luchan con el recuerdo factual, MULTIHALUDET logró 78.5% en HaluEval, manteniendo una ventaja robusta sobre el azar aleatorio y las líneas base de confianza estándar.
• Estudios de Ablación: Eliminar el mecanismo de Apilamiento OOF causó la caída de rendimiento más severa (10%), seguida por la eliminación de la Atención Multi-Escala (7%). Reemplazar el sondeo de trayectorias con una representación estática de la capa final resultó en una caída de ~5%, confirmando la necesidad de analizar la evolución completa del estado oculto.

Significado y Limitaciones

El artículo afirma que MULTIHALUDET demuestra que el sondeo de estado interno puede detectar efectivamente alucinaciones a través de idiomas y arquitecturas de modelos diversos sin ajuste fino. Aborda la limitación de los métodos actuales que no logran capturar confabulaciones a nivel semántico en contextos no ingleses.

Sin embargo, los autores reconocen limitaciones específicas:

• Requisito de Caja Blanca: El marco requiere acceso a estados ocultos internos y logit, lo que lo hace inaplicable a modelos propietarios de caja negra (por ejemplo, GPT-4, Claude).
• Sobrecarga Computacional: Aunque evita el ajuste fino, extraer y procesar estados ocultos de profundidad completa incurre en una sobrecarga de memoria no trivial y requiere pasadas hacia adelante completas.
• Artefactos de Traducción: La evaluación multilingüe depende de conjuntos de datos traducidos. Aunque el aseguramiento de calidad fue riguroso, los prompts nativos y naturalmente ocurridos en idiomas de bajo recurso podrían revelar matices no capturados completamente por los benchmarks traducidos.