Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

Resumen Técnico: Confianza y Calibración de Oráculos de Activación para la Interpretación Confiable de los Internos de Modelos de Lenguaje

Enunciado del Problema
Los oráculos de activación son modelos de lenguaje ajustados finamente para traducir los estados ocultos de un modelo objetivo a descripciones en lenguaje natural, permitiendo la interpretación de representaciones internas como hechos memorizados, objetivos ocultos o palabras secretas. Aunque estos oráculos han demostrado ser prometedores para recuperar información que solo emerge en las activaciones, sus salidas carecen actualmente de una noción de certeza. Esta ausencia de confianza calibrada es crítica para decisiones accionables posteriores, como la auditoría de alineación, la detección de engaño y la elicitación de objetivos ocultos. Las técnicas estándar de cuantificación de incertidumbre (UQ), desarrolladas para modelos no dirigidos, no han sido evaluadas rigurosamente en oráculos de activación, los cuales operan como modelos "dirigidos" donde el flujo residual se sobrescribe en el momento de la inferencia con vectores provenientes de un modelo objetivo. El problema central abordado es identificar qué métodos de estimación de confianza permanecen válidos y bien calibrados bajo esta perturbación específica de dirección.

Metodología
Los autores evaluaron seis métodos distintos de UQ en dos oráculos de activación: un oráculo Qwen3-8B publicado y un nuevo oráculo Qwen3.6-27B entrenado (adaptado para una arquitectura de atención híbrida lineal-plus-completa). La evaluación utilizó la tarea de "tabú de palabra secreta", donde los modelos objetivo se ajustan finamente para mantener en secreto una de 20 palabras específicas. Para cada una de las 6.000 muestras por oráculo (compuestas por 20 palabras objetivo, 100 prompts de contexto y 3 prompts verbalizadores), el oráculo intenta decodificar la palabra secreta a partir del estado oculto inyectado.

Los seis métodos evaluados fueron:

1. Log-probabilidad (Línea base): La log-probabilidad conjunta de los tokens de la palabra de respuesta predicha.
2. Bootstrap de Temperatura: Muestreo de $k=20$ respuestas a temperaturas variables ($T \in \{0.3, \dots, 1.5\}$) y uso de la frecuencia empírica de la respuesta modal como confianza.
3. Autoreporte Numérico Directo: Solicitar al oráculo que genere una puntuación numérica de confianza (0–100) después de generar la respuesta.
4. Aceptación de Muestreo por Potencia MCMC: Uso de una cadena de Metropolis-Hastings (MH) de un solo bloque con muestreo por potencia ($\alpha > 1$) y medición de la tasa de aceptación empírica.
5. Acuerdo de Muestreo por Potencia MCMC: Ejecución de $k=10$ cadenas MH independientes y medición del acuerdo entre cadenas (análogo a la autoconsistencia).
6. Sensibilidad a la Dirección: Barrido del coeficiente de dirección ($c$) alrededor del valor predeterminado y medición de la estabilidad de la respuesta decodificada.

El rendimiento se midió utilizando Precisión, Error de Calibración Esperado (ECE), Puntuación Brier, Log-verosimilitud Negativa (NLL) y AUROC (capacidad de clasificación).

Resultados Clave

• Método de Mejor Rendimiento: La frecuencia del modo del bootstrap de temperatura surgió como el método mejor calibrado en ambos modelos. En Qwen3-8B, la temperatura óptima fue $T=1.0$ (ECE 5.7%), y en Qwen3.6-27B, fue $T=1.5$ (ECE 10.3%). La temperatura óptima se correlaciona con la precisión de la tarea; a medida que el modelo se vuelve menos preciso (tarea más difícil), una temperatura más alta (muestreo más plano) produce una mejor calibración.
• Log-probabilidad como Triaje: Aunque la log-probabilidad tuvo un ECE más alto que la configuración óptima de bootstrap, logró una AUROC alta (capacidad de clasificación) y sirve como una señal de triaje rápida y de bajo costo, especialmente cuando se aplica calibración posterior (por ejemplo, reescalado isotónico).
• Fallo del Autoreporte: El autoreporte numérico libre fue el método peor calibrado. En el oráculo de 27B, estaba "anti-calibrado", con el modelo expresando mayor confianza en respuestas incorrectas (media 98.9%) que en las correctas (97.6%). Esto replica la brecha de confianza observada entre "sonda vs. verbalizado" en los LLM estándar, sugiriendo que el canal de elicitación en lenguaje natural está dominado por los priores de entrenamiento en lugar de la señal fundamentada en las activaciones.
• Fallo de la Aceptación MCMC: La razón de aceptación de la cadena única MCMC no logró distinguir entre salidas correctas e incorrectas (AUROC ~0.53–0.60). Los autores atribuyen esto a que la distribución condicional dirigida está agudamente picada en la respuesta codiciosa; en consecuencia, la cadena MH acepta propuestas independientemente de la corrección, saturando la tasa de aceptación.
• Sensibilidad a la Dirección: Este método produjo valores de confianza discretos y gruesos (0.2, 0.4, etc.) y una calibración pobre (ECE > 40%), lo que lo hace inadecuado como señal probabilística, aunque podría servir como un diagnóstico binario.

Contribuciones

1. Primera Evaluación de UQ para Oráculos de Activación: El documento establece la primera evaluación sistemática de la cuantificación de incertidumbre específicamente para oráculos de activación dirigidos, abarcando seis métodos en dos modelos y cuatro métricas de calibración.
2. Evaluación de Métodos Novedosos: Introduce y evalúa tres métodos diseñados específicamente para el entorno de oráculo dirigido (aceptación MCMC, acuerdo MCMC y sensibilidad a la dirección), proporcionando explicaciones mecánicas de por qué la aceptación MCMC y la sensibilidad a la dirección arrojan resultados negativos en este contexto.
3. Receta Práctica: Los autores proponen una estrategia de ajuste práctica: seleccionar la temperatura de bootstrap de modo que la frecuencia media del modo en una rebanada de palabras retenida coincida con la precisión empírica en esa rebanada.
4. Replicación de Brechas de Confianza: El estudio confirma que la brecha entre las señales de activación internas y la confianza verbalizada existe en los oráculos de activación, siendo el autoreporte libre incapaz de capturar la señal de incertidumbre presente en los estados ocultos.
5. Nuevo Lanzamiento de Oráculo: El documento lanza el primer oráculo de activación para una arquitectura de atención híbrida lineal-plus-completa (Qwen3.6-27B), junto con el entrenador parcheado y los pesos del verbalizador.

Significado y Afirmaciones
El documento afirma que, para los practicantes que construyen sistemas sobre oráculos de activación, la frecuencia del modo del bootstrap de temperatura es la señal de confianza lista para producción, con la temperatura ajustada para coincidir con la precisión empírica. Aunque la log-probabilidad está menos calibrada, sigue siendo una alternativa viable y de bajo costo para el triaje si se combina con un reescalado posterior.

Los autores declaran explícitamente que las razones de aceptación MCMC no son señales de confianza adecuadas para esta tarea debido a la naturaleza picada en el modo de la posterior dirigida. Además, advierten que el autoreporte numérico libre es poco fiable y está anti-calibrado en este contexto. El estudio sugiere que si se requiere UQ introspectiva, la puntuación de etiquetas restringida (eludiendo la generación de texto libre) podría recuperar la señal, como se demostró en un pequeño estudio piloto.

El trabajo es modesto en su alcance, señalando que los resultados se basan en dos modelos de la familia Qwen y una receta de entrenamiento. Aunque la consistencia entre modelos sugiere una afirmación a nivel de paradigma, los autores no afirman generalidad en todas las arquitecturas. Los hallazgos enfatizan que la interpretación confiable de los internos de los modelos de lenguaje requiere no solo decodificar el estado oculto, sino cuantificar rigurosamente la confianza de dicha decodificación, para lo cual los métodos de bootstrap ofrecen actualmente la solución más robusta.