💻 computer science

Signed Layer-Level Evidence in Transformer Predictions, and a Diagnostic for When It Applies

Este artículo introduce el Flujo de Evidencia de Lenguaje (LEF) para descomponer las predicciones de los Transformers en evidencia por capa con signo y propone ScopeGate, una herramienta de diagnóstico basada en permutaciones que revela las limitaciones de los detectores de errores existentes tanto a nivel de modelo como de tarea, demostrando que ninguna métrica única predice universalmente el fallo del modelo.

Autores originales: Jeffery Opoku, David Banahene

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jeffery Opoku, David Banahene

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son los motores detrás de una nueva generación de inteligencia artificial, capaces de escribir ensayos, resolver problemas matemáticos y mantener conversaciones que se sienten notablemente humanas. Sin embargo, bajo su superficie fluida subyace un fallo persistente: a veces inventan hechos con total confianza, un fenómeno que los investigadores llaman alucinación. Durante años, la forma estándar de detectar estos errores ha sido observar la respuesta final del modelo y preguntar: "¿Qué tan seguro parece?". Si el modelo asigna una alta probabilidad a una palabra, asumimos que es correcta. Pero este enfoque tiene un punto ciego. Trata la salida final como una caja negra, ignorando la compleja maquinaria interna que la produjo. Dos respuestas pueden tener exactamente el mismo nivel de confianza, pero una puede ser el resultado de un acuerdo claro y unánime entre los componentes internos del modelo, mientras que la otra es el producto frágil de una feroz guerra civil interna donde diferentes partes del sistema tiran en direcciones opuestas. Comprender esta lucha oculta es crucial porque una mentira que suena segura es a menudo más peligrosa que una verdad vacilante.

Un equipo de investigadores ha desarrollado un nuevo método para asomarse dentro de esta caja negra, revelando el tira y afloja oculto que ocurre antes de que se pronuncie una sola palabra. Llaman a su marco de trabajo "Language Evidence Flow" (Flujo de Evidencia del Lenguaje). En lugar de solo mirar la puntuación final, este método rastrea la contribución de cada una de las capas dentro de la arquitectura del modelo mientras procesa una oración. Imagine el modelo como una larga cadena de tomadores de decisiones, donde cada eslabón añade su propia pieza de evidencia a la elección final. Los investigadores descubrieron que podían asignar un valor positivo o negativo a la contribución de cada eslabón; un valor positivo significa que la capa apoya la palabra elegida; un valor negativo significa que se opone a ella. Al sumar estos valores, pueden calcular un "puntaje de conflicto". Un puntaje bajo significa que las capas internas están en armonía, mientras que un puntaje alto revela que el modelo está generando una respuesta a pesar de un fuerte desacuerdo interno. Esto les permite detectar cuándo un modelo está alucinando, incluso si la respuesta final parece perfectamente segura en la superficie.

Los investigadores probaron esta idea en una amplia gama de modelos, desde versiones más pequeñas de 1.400 millones de parámetros hasta sistemas masivos de 14.700 millones de parámetros, cubriendo diferentes familias arquitectónicas. Descubrieron que el método funciona excepcionalmente bien para detectar un tipo específico de error: cuando la memoria interna de un modelo choca con la información externa que ha recuperado. En una configuración de generación aumentada por recuperación, se le da al modelo un documento para leer antes de responder. Si el documento dice una cosa y la memoria de entrenamiento del modelo dice otra, el puntaje de conflicto interno aumenta bruscamente, señalando que la respuesta es probablemente una alucinación. Esto funciona en una sola pasada, lo que significa que añade casi nada de tiempo al proceso de generación, a diferencia de los métodos antiguos que requerían que el modelo generara la misma respuesta varias veces para verificar la consistencia.

Sin embargo, el estudio también reveló una limitación sorprendente e importante: esta señal de conflicto interno no es una verdad universal para todos los modelos. Los investigadores encontraron que, para algunos modelos, un puntaje de conflicto alto predecía de manera confiable un error, pero para otros, la señal era débil o incluso engañosa. Por ejemplo, en un popular modelo de 7.000 millones de parámetros, el puntaje de conflicto fue en realidad peor que el azar al predecir errores, mientras que en un modelo diferente del mismo tamaño, fue un indicador fuerte de problemas. Esta inconsistencia significa que simplemente instalar esta herramienta en cualquier sistema de IA no es suficiente; primero debe verificar que funcione para su modelo específico. Para resolver esto, el equipo creó un control de seguridad llamado ScopeGate. Este es una prueba simple que se ejecuta sobre un pequeño conjunto de respuestas correctas e incorrectas conocidas para ver si el puntaje de conflicto realmente se correlaciona con los errores para ese modelo específico. Si la prueba falla, la herramienta no se utiliza como una alarma independiente, pero aún puede usarse para entender por qué el modelo está teniendo dificultades.

Los hallazgos sugieren que la forma en que estos modelos piensan cambia a medida que se ajustan para la conversación humana. Cuando los modelos se ajustan finamente para ser más útiles y seguir instrucciones, su confianza superficial a menudo se vuelve menos confiable como señal de advertencia, pero la señal de conflicto interno permanece fuerte o incluso se vuelve más aguda. Esto hace que el nuevo método sea particularmente valioso para los modelos más avanzados, ajustados por instrucciones, utilizados en aplicaciones del mundo real. Los investigadores también demostraron que este enfoque puede detectar errores en tareas de razonamiento complejas de múltiples pasos, donde el modelo tiene que encadenar hechos, capturando el momento en que la lógica interna comienza a desmoronarse.

En última instancia, este trabajo desplaza el enfoque desde la salida final hacia el proceso de creación. Demuestra que el camino hacia una respuesta importa tanto como la respuesta misma. Al mapear la evidencia con signo que fluye a través de cada capa de la red, los investigadores han proporcionado una forma de ver los desacuerdos internos del modelo en tiempo real. Aunque el método no funciona perfectamente en cada modelo sin una verificación previa, ofrece una herramienta poderosa y libre de entrenamiento que puede implementarse de inmediato. Permite a los desarrolladores ver exactamente dónde y por qué un modelo está luchando contra sí mismo, convirtiendo el proceso opaco de la inteligencia artificial en algo que puede ser observado, medido y comprendido. La clave es que la confianza no es suficiente; también debemos buscar el silencio del acuerdo o el ruido del conflicto dentro de la máquina.

Resumen Técnico: Evidencia con Firma a Nivel de Capa en Predicciones de Transformers

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) frecuentemente producen salidas fluidas y de alta probabilidad que son fácticamente incorrectas (alucinaciones). Los métodos de detección existentes enfrentan una limitación fundamental: dependen de puntuaciones a nivel de salida (p. ej., probabilidad softmax, entropía predictiva) o requieren un muestreo costoso (p. ej., SelfCheckGPT) o datos de entrenamiento etiquetados (p. ej., clasificadores de sondeo).

La dificultad central abordada por este trabajo es que dos tokens con probabilidades softmax idénticas pueden ser alcanzados mediante procesos internos vastamente diferentes. Un token puede estar respaldado por un acuerdo casi unánime en todas las capas del transformer, mientras que otro puede sobrevivir a pesar de una fuerte oposición interna (conflicto) de varias capas. Las puntuaciones a nivel de salida son funciones únicamente de la brecha de logits y son ciegas a la "masa de evidencia" o a la estructura de desacuerdo interno. En consecuencia, un modelo puede parecer altamente confiado mientras su evidencia interna está luchando contra sí misma, un estado que las métricas estándar no pueden detectar.

2. Metodología: Flujo de Evidencia de Lenguaje (LEF)

Los autores introducen el Flujo de Evidencia de Lenguaje (LEF), un marco que descompone la predicción de un token en contribuciones con signo de cada capa del transformer, cabeza de atención y, en entornos de Generación Aumentada por Recuperación (RAG), de la memoria paramétrica frente a los documentos recuperados.

2.1 Mecanismo Central

LEF aprovecha la naturaleza aditiva del flujo residual del transformer. Para una posición de token $t$ dada, el modelo selecciona un token superior $\hat{v}_t$ y un segundo lugar $\hat{r}_t$ . La brecha de logits $\Delta_t$ se descompone exactamente en términos de evidencia con signo $E_\ell(t)$ de cada capa $\ell$ :
$\Delta_t = E_0(t) + \sum_{\ell=1}^{L} E_\ell(t)$
donde $E_\ell(t)$ es la contribución de la capa $\ell$ (combinando las salidas de atención y MLP) a la brecha entre el token superior y el segundo lugar.

Evidencia con Signo: Si $E_\ell(t) > 0$ , la capa respalda el token elegido; si $E_\ell(t) < 0$ , se opone a él.
Masa de Apoyo y Oposición: $S^+(t)$ y $S^-(t)$ son las sumas de las magnitudes de la evidencia positiva y negativa, respectivamente.
Puntuación de Conflicto ( $C$ ): Definida como $C(t) = \frac{2 \min(S^+, S^-)}{S^+ + S^-}$ . Un valor cercano a 0 indica evidencia unidireccional; un valor cercano a 1 indica un conflicto (alto conflicto).
Margen de Inversión ( $m_{flip}$ ): La redistribución mínima de evidencia requerida para invertir la predicción, calculada como $m_{flip}(t) = \frac{|\Delta_t|}{2} = \frac{M(t)(1-C(t))}{2}$ . Un alto conflicto implica un margen de inversión pequeño, lo que indica fragilidad de la predicción.

2.2 Descomposición RAG

En escenarios RAG, LEF separa la evidencia en fuentes paramétricas ( $E_{param}$ ) y recuperadas ( $E_{retr}$ ). Define el Conflicto entre Fuentes ( $C_{cross}$ ) para medir el desacuerdo entre la memoria interna del modelo y los documentos externos. Esto permite la detección de alucinaciones en RAG donde el modelo ignora los hechos recuperados en favor del conocimiento paramétrico (o viceversa).

2.3 Garantías Teóricas

El artículo demuestra un Teorema de Identificación que establece que las puntuaciones a nivel de salida (como la probabilidad o la entropía) no pueden garantizar la revelación del conflicto interno porque la masa de evidencia es un parámetro libre independiente de la salida softmax. También demuestra un límite inferior de conflicto cuando las fuentes paramétricas y recuperadas discrepan.

2.4 ScopeGate: Un Diagnóstico de Despliegue

Reconociendo que el conflicto no es universalmente predictivo de errores en todos los modelos, los autores introducen ScopeGate. Esta es una prueba de permutación que verifica si la puntuación de un detector específico (p. ej., conflicto) se correlaciona con el error en un par modelo-tarea específico utilizando un pequeño conjunto de ejemplos etiquetados (~100–250). Si la prueba falla, el detector no está listo para el despliegue en esa configuración, evitando la dependencia excesiva.

3. Contribuciones Clave

Marco de Trabajo: LEF proporciona una descomposición de una sola pasada y sin entrenamiento de las predicciones en evidencia con signo por capa, permitiendo la atribución a nivel de capa y la separación de fuentes en RAG.
Teoría: Demostraciones que caracterizan el límite de identificación donde las puntuaciones de salida fallan en revelar el conflicto, un vínculo de forma cerrada entre el conflicto y el margen de inversión, y un teorema de propagación de conflicto en la decodificación autorregresiva.
Validación Empírica: Evaluación a través de 11 modelos (1.4B–14.7B parámetros) y seis familias de arquitecturas. Los hallazgos clave incluyen:
- LEF detecta el desacuerdo de fuentes RAG en una sola pasada hacia adelante a través de múltiples familias de arquitecturas.
- El conflicto de LEF (sin entrenamiento) casi iguala el rendimiento de un sondeo de estado oculto entrenado (AUROC 0.660 vs. 0.669) y supera a los métodos basados en muestreo (SelfCheckGPT) con un costo de inferencia 5 veces menor.
- Especificidad del Modelo: El conflicto es una señal de error fuerte para las variantes de Qwen2.5 y OLMo-2-7B-Instruct, pero falla o se invierte para Mistral-7B y Falcon-7B.
Protocolo de Despliegue: Una receta de cuatro pasos que incluye la verificación de seguridad ScopeGate, la ablación de capas para eficiencia (monitorear las 5–10 capas superiores reduce la sobrecarga a <4%) y estrategias de ensamble con entropía.

4. Resultados Experimentales

QA Factual (TriviaQA): En QA simple de un solo salto, la entropía predictiva generalmente supera al conflicto bruto (p. ej., Mistral-7B: Entropía 0.802 vs. Conflicto 0.463). Sin embargo, el conflicto sobresale en la detección de errores confiados (baja entropía, alto conflicto) y funciona mejor en tareas de razonamiento de múltiples saltos para modelos específicos (p. ej., Qwen2.5-7B-Instruct: Conflicto AUROC 0.829 en HotpotQA).
Desacuerdo de Fuentes RAG: Cuando los documentos recuperados contradicen la memoria paramétrica, las puntuaciones de conflicto aumentan significamente (p. ej., +0.048 para Mistral-7B) mientras que la precisión disminuye. Este efecto se replica direccionalmente a través de cuatro familias de arquitecturas.
Rendimiento de ScopeGate: ScopeGate identificó correctamente 4 configuraciones listas para el despliegue (todas las variantes de Qwen2.5 y OLMo-2-7B-Instruct) de entre 11 modelos probados. Advirtió correctamente contra el uso del conflicto como señal independiente para modelos como Mistral-7B y Phi-2.
Ajuste de Instrucciones: Se encontró que el ajuste de instrucciones (RLHF) degrada la detección basada en la entropía (haciendo a los modelos más confiados pero potencialmente menos fiables) mientras preserva o fortalece la señal de conflicto, haciendo que LEF sea particularmente valioso para modelos alineados.
Eficiencia: LEF añade una sobrecarga insignificante (~3.7% para una sola pasada en las 5 capas superiores) en comparación con la pasada hacia adelante base.

5. Significación y Reivindicaciones

El artículo afirma que LEF ofrece una señal estructuralmente distinta para la detección de alucinaciones que es ortogonal a las puntuaciones de nivel de salida. Su principal significación radica no en superar universalmente a la entropía en todas las tareas, sino en:

Revelar Procesos Internos: Expone el "por qué" detrás de una predicción (acuerdo de capa vs. conflicto) en lugar de solo el "qué" (probabilidad).
Atribución de Fuente: Es el único método de una sola pasada capaz de separar la memoria paramétrica de la evidencia recuperada en RAG.
Seguridad mediante Diagnósticos: La inclusión de ScopeGate aborda la tendencia del campo a desplegar detectores sin verificar su validez en modelos específicos. El artículo enfatiza que la validez del detector es una propiedad del par modelo-tarea, no del detector por sí solo.
Eficiencia sin Entrenamiento: Logra un rendimiento competitivo con sondas supervisadas y métodos de muestreo sin requerir datos etiquetados o múltiples pasadas de inferencia.

Los autores son modestos sobre la universalidad de la señal de conflicto, declarando explícitamente que su efectividad depende de la arquitectura y escala específicas del modelo, y que ScopeGate es necesario para verificar su aplicabilidad antes del despliegue. No afirman haber identificado la razón mecánica precisa (p. ej., diversidad de capas) de por qué algunos modelos funcionan y otros fallan, señalando que las pruebas actuales de diversidad de capas no explicaron la varianza.