Resumen Técnico: FLaG – Agrupación de Grupos Latentes de Grano Fino para la Detección de Alucinaciones

1. Formulación del Problema

Los Grandes Modelos de Lenguaje (LLMs) producen con frecuencia alucinaciones: salidas que son fluidas pero fácticamente incorrectas. El desafío central abordado en este trabajo es que las alucinaciones no surgen de un único modo de falla homogéneo. En su lugar, surgen de diversos mecanismos que se manifiestan como patrones heterogéneos en las señales a nivel de representación, en las trazas de probabilidad a nivel de token y en la dinámica de generación.

Los métodos de detección existentes suelen depender de una única puntuación de incertidumbre global o de un clasificador monolítico entrenado con una visión unificada de la evidencia. Los autores argumentan que tales enfoques asumen implícitamente una noción homogénea de alucinación, lo que conduce a un rendimiento frágil cuando se enfrenta a cambios en los conjuntos de datos o regímenes de generación variables. El artículo postula que la detección fiable requiere tratar la alucinación no meramente como un problema de clasificación, sino como un problema de agregación de evidencia bajo incertidumbre de mecanismo latente. El objetivo es aprender una puntuación de fiabilidad que agregue fuentes de evidencia heterogéneas manteniéndose invariante a los umbrales de decisión y a las métricas de evaluación.

2. Metodología: Marco de Trabajo FLaG

El marco propuesto FLaG (Fine-Grained Latent Grouping) es un cabezal ligero para modelos congelados que no requiere modificación del LLM subyacente. Opera a través de tres etapas primarias:

2.1 Representación de Evidencia Multivista

FLaG extrae evidencia complementaria de dos fuentes distintas con respecto a un prompt $q$ y una salida generada $a$:

1. Señales de Geometría Latente ($\psi(x)$): La secuencia concatenada $q \oplus a$ se introduce de nuevo en el LLM congelado. El marco computa los estados ocultos con media agrupada (mean-pooled) para el prompt ($\bar{h}_q$) y la salida ($\bar{h}_a$), junto con la deriva residual ($\bar{h}_a - \bar{h}_q$) y el estado oculto del último token ($h_{end}$). Esto captura la deriva semántica y la información de coordenadas absolutas.
2. Señales de Traza Probabilística ($\phi(x)$): Se extrae un conjunto de funcionales de traza de las log-probabilidades a nivel de token, incluyendo la media, el mínimo y la desviación estándar de las log-probs, la entropía predictiva, el margen de logits y un funcional de frecuencia de cola que cuenta valores atípicos de baja probabilidad.

Estos dos tipos de evidencia se proyectan en un espacio latente compartido y se fusionan mediante un Perceptrón Multicapa (MLP) para formar una representación unificada $r(x)$.

2.2 Razonamiento de Grupo Consciente de Grupos

En lugar de mapear $r(x)$ directamente a una puntuación, FLaG introduce $K$ grupos de evidencia latente, cada uno de los cuales representa un mecanismo de alucinación específico.

• Asignación Basada en Prototipos: Cada grupo $g$ se define por un vector de prototipo aprendible $c_g$. Un mecanismo de enrutamiento basado en energía calcula la compatibilidad $\alpha_g(x)$ entre la evidencia $r(x)$ y el prototipo $c_g$.
• Enrutamiento Suave (Soft Routing): La distribución de enrutamiento $\pi_g(x)$ se computa utilizando una forma de Boltzmann con un parámetro de temperatura $\tau$, permitiendo que las instancias se asocien suavemente con múltiples grupos. Esta distribución actúa como una posterior aproximada de la pertenencia de la instancia a un mecanismo específico.
• Puntuación Condicional al Grupo: Cada grupo $g$ tiene una función de puntuación lineal asociada $s_g(x) = w_g^T r(x) + b_g$. Diferentes grupos se entrenan para enfatizar distintas dimensiones de la evidencia, reflejando distintos modos de falla.

2.3 Agregación de Evidencia Log-Marginal

La puntuación final de veracidad $s(x)$ se obtiene agregando las señales condicionales al grupo a través de una regla de agregación log-marginal:
$$s(x) = \log \sum_{g=1}^{K} \pi_g(x) e^{s_g(x)}$$
Esta formulación marginaliza efectivamente sobre mecanismos latentes competidores en lugar de comprometerse con una única explicación. La predicción binaria final se realiza mediante el umbral de $s(x)$ (por ejemplo, $G(x) = \mathbb{I}[s(x) \geq 0]$).

2.4 Objetivo de Aprendizaje

El marco soporta aprendizaje supervisado, débilmente supervisado y semi-supervisado:

• Objetivo Supervisado: Una pérdida de ranking basada en margen fomenta que las instancias veraces reciban puntuaciones más altas que las alucinadas dentro de pares etiquetados.
• Objetivo Semi-Supervisado: Para datos no etiquetados, el modelo identifica instancias de alta confianza para cada grupo y fuerza un orden relativo consistente dentro de esos grupos. Esto refina la estructura de los grupos latentes sin requerir etiquetas pseudo explícitas.

3. Análisis Teórico

El artículo proporciona una justificación teórica que conecta FLaG con la prueba de hipótesis óptima.

• Estadístico Bayes-Óptimo: Bajo un modelo de mezcla de mecanismos donde los datos se generan a partir de una mezcla de distribuciones condicionadas al grupo, los autores demuestran que la razón de verosimilitud logarítmica (LLR) Bayes-óptima para detectar la veracidad toma necesariamente una forma log-marginal sobre la evidencia condicionada al mecanismo.
• Aproximación: Se demuestra que FLaG es una aproximación tratable y aprendible de este estadístico óptimo. La distribución de enrutamiento $\pi_g(x)$ aproxima la posterior intratable, y las puntuaciones de grupo $s_g(x)$ aproximan las razones de verosimilitud logarítmicas por grupo.
• Límite de Error: Los autores demuestran que a medida que aumenta el número de grupos latentes $K$, el error de aproximación al estadístico Bayes-óptimo decae polinómicamente ($O(K^{-1/d})$), proporcionando un límite de error controlable.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro benchmarks (TruthfulQA, TriviaQA, CoQA, TyDiQA-GP) utilizando dos backbones de LLM (LLaMA-3-8B-Instruct y Qwen2.5-7B-Instruct).

• Rendimiento: FLaG alcanza un rendimiento de Estado del Arte (SOTA), superando a 17 baselines (incluyendo métodos sin entrenamiento como Semantic Entropy y sondas basadas en entrenamiento como SAPLMA y HaloScope). Bajo supervisión completa, FLaG mejoró el AUROC en un 3.03% y 3.60% sobre los mejores baselines en los dos backbones.
• Robustez Semi-Supervisada: Incluso con solo el 20% de datos etiquetados, FLaG superó a la mayoría de los competidores totalmente supervisados, demostrando efectividad bajo supervisión limitada.
• Transferibilidad: El modelo exhibió una fuerte transferibilidad entre datasets y modelos. Los detectores entrenados en un dataset o backbone de modelo mantuvieron altos puntajes de AUROC cuando se aplicaron a objetivos no vistos, lo que sugiere que las señales aprendidas capturan fallas de generación intrínsecas en lugar de artefactos específicos del dataset.
• Robustez: El rendimiento se mantuvo estable a través de variaciones en la complejidad de las instancias (longitud) y temperaturas de muestreo, indicando resiliencia al ruido y a diversos regímenes de generación.
• Interpretabilidad: El análisis de los grupos latentes reveló que estos particionan naturalmente las alucinaciones en categorías semánticamente coherentes (por ejemplo, fabricación de hechos, contradicción lógica, desajuste de entidades) sin supervisión de categoría explícita.

5. Contribuciones Clave

1. Formulación: El artículo reformula la detección de alucinaciones como un problema de agregación de evidencia consciente de los mecanismos, unificando señales a nivel de representación y a nivel de token bajo un marco que tiene en cuenta la heterogeneidad de los modos de falla latentes.
2. Marco (FLaG): Propone un cabezal de detección ligero para modelos congelados que utiliza el enrutamiento suave hacia grupos latentes y una agregación log-marginal fundamentada para lograr un ranking insensible al umbral.
3. Teoría y Aprendizaje: Proporciona una conexión teórica con el estadístico log-marginal Bayes-óptimo con un límite de error controlable e introduce un objetivo basado en ranking que se extiende naturalmente a entornos semi-supervisados.

6. Significancia y Limitaciones

Significancia: El trabajo argumenta que el rendimiento superior de FLaG proviene de modelar explícitamente la heterogeneidad de los mecanismos de alucinación. Al marginalizar sobre múltiples explicaciones latentes en lugar de colapsar la evidencia en un solo clasificador, el marco logra robustez a través de datasets, modelos y niveles de supervisión.

Limitaciones:

• Restricción de Caja Negra: FLaG depende de la telemetría interna de generación (estados ocultos y estadísticas a nivel de token). No es aplicable en entornos estrictamente de caja negra donde solo es observable el texto final.
• Alcance Teórico: La conexión teórica con la agregación Bayes-óptima se establece bajo una visión de mezcla de mecanismos. Los autores señalan que extender este análisis a entornos con cambios de distribución más fuertes o dependencias más estructuradas entre las vistas de evidencia sigue siendo una dirección abierta.