Resumen Técnico: La dispersión de la activación separa la familiaridad de la entidad de la fiabilidad fáctica

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLM) frecuentemente alucinan cuando se les consulta sobre entidades que no han encontrado durante el preentrenamiento. Mientras que los estudios mecanicistas sugieren que la recuperación de conocimiento implica patrones de activación localizados y la alucinación implica patrones deslocalizados, no se ha probado si la dispersión estadística de una sola pasada hacia adelante (single-forward-pass) no supervisada de las activaciones internas puede detectar la familiaridad de una entidad antes de que se genere cualquier token de respuesta. Además, no está claro si este "señal de familiaridad" interna se correlaciona con la fiabilidad fáctica conductual del modelo (es decir, si el modelo realmente responde correctamente sobre entidades conocidas).

Este estudio aborda estas brechas utilizando la familia de modelos Bielik, de parámetros ajustados por instrucciones (1.5B a 11B). Investiga si la dispersión de la activación puede distinguir entre entidades conocidas, reales pero oscuras y fabricadas, y si esta señal rastrea la capacidad del modelo para responder correctamente.

Metodología

Conjunto de Datos y Diseño Experimental

Los autores construyeron un conjunto de datos a través de cuatro dominios de entidades: atletas, ciudades, escritores y músicos. Cada dominio contiene 126 entidades divididas en tres condiciones (42 por condición):

1. Conocidas: Entidades famosas (ej. Robert Lewandowski).
2. Desconocidas-Reales: Entidades reales pero oscuras (ej. atletas de ligas inferiores) que el modelo probablemente no pueda describir.
3. Fabricadas: Nombres inventados pero morfológicamente plausibles (ej. "Roman Lewandowicz").

Los prompts eran preguntas de una sola oración ("¿Quién es {entidad}?" o "¿Qué es {entidad}?"). El dominio de atletas sirvió como banco de pruebas principal para el análisis conductual, mientras que los otros tres dominios se utilizaron para probar la generalización.

Extracción de Señales y Métricas

Para cada prompt, se realizó una única pasada hacia adelante. El estudio se centró en las activaciones post-SwiGLU MLP en el punto del prompt (el último token del prompt, después de que la entidad haya sido procesada).

• Métricas de Dispersión (No Supervisadas):
  • Ratio de Participación Inversa (IPR): Mide la concentración de la activación (IPR alto = localizado).
  • Entropía Espectral: Mide la entropía de la distribución de activación normalizada (entropía baja = localizado).
  • Preprocesamiento: Las activaciones fueron winsorizadas al percentil 99 para evitar que los valores atípicos masivos dominaran las estadísticas.
• Límite Superior Supervisado: Una sonda de regresión logística con regularización $\ell_2$ entrenada en estados ocultos para determinar la máxima señal linealmente decodificable.
• Baselines (Líneas de Base):
  • Recuento de Tokens: Un baseline léxico basado en la longitud de la entidad.
  • Entropía Semántica: Un baseline multiespectro (5 muestras + clustering de LLM) que mide la consistencia de la respuesta.
  • Entropía del Primer Token: Baseline de entropía del lado de la salida.

Marco de Evaluación

• Nulos de Selección Consciente: Para evitar el sobreajuste a la selección de capas, los autores utilizaron pruebas de permutación (10,000 permutaciones) donde las etiquetas fueron barajadas y el mejor nivel/métrica fue reseleccionado para cada permutación. El percentil 95 de estos máximos nulos sirvió como el suelo de rendimiento.
• Validación Externa (Held-Out): Las capas se seleccionaron en la mitad de los datos y se evaluaron en la otra mitad.
• Auditoría Conductual: Para el dominio de atletas, un juez de LLM (Claude Opus 4.8) calificó las respuestas para la corrección fáctica bajo rúbricas estrictas y blandas. Una auditoría separada (Claude Haiku 4.5) contó las negativas y las respuestas dubitativas.

Contribuciones Clave

1. Detección de Familiaridad No Supervisada: El estudio demuestra que estadísticas de dispersión simples y de forma cerrada (IPR y entropía espectral) computadas en una sola pasada hacia adelante pueden separar entidades conocidas de fabricadas con un AUROC 0.94–1.00 en todas las escalas de modelos (1.5B–11B). Esta señal supera los suelos de permutación de selección consciente (~0.70–0.74) y sobrevive a la selección de capas externa.
2. Generalización a través de Dominios: El detector se generaliza a través de atletas, ciudades, escritores y músicos. La transferencia de la sonda entre dominios arroja AUROCs fuera de la diagonal de 0.92–0.99. La caída de rendimiento observada al transferir al dominio de "ciudades" se demostró causada por diferencias en la plantilla del prompt ("¿Qué es" vs. "¿Quién es"), no por el tipo de entidad, mediante un contrafactual de plantilla emparejada.
3. Disociación de las Curvas de Escalamiento: El artículo identifica dos comportamientos de escalamiento distintos:
   • Familiaridad Representacional: La capacidad de distinguir entidades conocidas de desconocidas ya está en el techo (AUROC > 0.94) en la escala más pequeña (1.5B) y no mejora significativamente con la escala.
   • Fiabilidad Conductual: La capacidad de responder correctamente sobre entidades conocidas escala de forma pronunciada. Para atletas conocidos, las respuestas totalmente correctas bajo un juez estricto subieron de 0/42 (1.5B) a 19/42 (11B).
4. Resultado Negativo sobre la Fiabilidad Fáctica: Dentro del conjunto de entidades conocidas, las métricas de dispersión fallan al distinguir entre respuestas correctas y alucinaciones (AUROC ~0.68–0.82, a menudo indistinguibles de los baselines). La señal detecta la familiaridad, no la veracidad.
5. Complementariedad con la Entropía Semántica: Mientras que la dispersión de una sola pasada supera a la entropía semántica en el contraste "conocido vs. fabricado" (0.94+ vs. 0.71–0.83), la entropía semántica supera a la dispersión en el contraste "correcto vs. alucinación" (hasta 0.87). Las dos métricas consumen información diferente (familiaridad del lado del prompt vs. consistencia del lado de la generación).
6. La Brecha de Abstención: A pesar de portar una señal interna casi perfecta de falta de familiaridad en todas las escalas, los modelos casi nunca se niegan a responder. En 2,520 respuestas de atletas muestreadas, hubo solo 2 negativas y 1 respuesta dubitativa (99.88% de aserciones directas). Esta brecha existe incluso en 11B, donde la señal interna es legible.

Resultados

• Separabilidad: La mejor métrica de dispersión no supervisada alcanzó AUROCs de 0.936 (1.5B) a 0.984 (4.5B) para conocidos vs. fabricados en atletas. La sonda supervisada alcanzó 0.99–1.00, indicando que la información está presente en las activaciones.
• Contrastes de Control:
  • Conocido vs. Desconocido-Real: La dispersión alcanzó 0.97–1.00, probando que la señal rastrea la familiaridad en lugar de solo la "extrañeza" de las cadenas fabricadas.
  • Desconocido-Real vs. Fabricado: La dispersión alcanzó 0.70–0.82, sugiriendo un componente léxico o de plausibilidad residual en las cadenas fabricadas, pero esto está muy por debajo de la señal principal.
• Estructura de Profundidad: La señal de familiaridad está presente desde las capas tempranas-medias (profundidad relativa ~0.2) y persiste a través de la red. La entropía espectral muestra una "banda de conocimiento" consistente en la profundidad relativa [0.48, 0.77] en todos los modelos.
• Difusión de la Atención: La señal no es transportada por un conjunto pequeño y fijo de cabezales de atención. El análisis por cabezal muestra que la señal de familiaridad es difusa, con solo 1–2 cabezales compartidos entre los 20 mejores cabezales de los cuatro dominios.
• Escalamiento Conductual: La corrección en entidades conocidas mejoró monótonamente con la escala (0 → 2 → 10 → 19 correctos de 42 bajo criterios estrictos).
• Comportamiento de Refusal (Negativa): Los modelos rara vez se abstienen. Solo el modelo 11B se negó dos veces; los modelos 1.5B y 4.5B nunca se negaron, a pesar de tener la misma señal de familiaridad interna.

Significado y Reivindicaciones

El artículo afirma que la familiaridad de la entidad y la fiabilidad fáctica son fenómenos distintos que se mueven en curvas de escalamiento diferentes.

• La familiaridad es una propiedad de baja capacidad: Los modelos pequeños (1.5B) ya poseen una representación interna legible de lo que saben y lo que no saben. Esta es una "sombra volumétrica de grano grueso" de la circuitería de reconocimiento de entidades encontrada en estudios mecanicistas.
• La fiabilidad es una propiedad de alta capacidad: La capacidad de recuperar hechos sin alucinaciones requiere significativamente más parámetros y repetición de datos.
• La Brecha de Alineación: El hallazgo más significativo es el régimen de casi cero negativas. Los modelos poseen una señal interna "perfecta" que indica que no conocen una entidad, pero casi nunca actúan en consecuencia conductualmente. Los autores argumentan que esto es una brecha de alineación/ajuste en lugar de una brecha de capacidad, ya que modelos más grandes (y otras familias como Gemma-4) pueden ser inducidos a negarse bajo condiciones similares.

El artículo conclifica que, si bien la dispersión de la activación proporciona un filtro barato y sin etiquetas para detectar entidades no familiares (útil para el enrutamiento a recuperación o abstención), no puede usarse como un detector de alucinaciones para contenido sobre entidades familiares. El estado interno le dice al modelo "no conozco esta entidad", pero no le dice "estoy a punto de mentir sobre esta entidad conocida".