Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

Aquí se presenta un resumen técnico detallado del artículo "Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B" (Destilación de la Autoconsistencia en la Confianza Verbal: Un Resultado Negativo Pre-registrado y Rescate Post-hoc en Gemma 3 4B).

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM), particularmente aquellos en el rango de 3–9 mil millones de parámetros, exhiben un problema de "confianza verbal degenerada". Cuando se les pide expresar su confianza como un porcentaje, estos modelos reportan consistentemente una confianza cercana al máximo (tasas de techo >90%), independientemente de si su respuesta es correcta.

• La Brecha: Mientras que las representaciones internas (estados ocultos) y la entropía de logits de un solo paso contienen información significativa sobre la corrección (AUROC2 ~0.6–0.8), el canal verbal falla en transmitir esta información (AUROC2 ~0.5, cercano al azar).
• El Objetivo: El estudio investiga si el Ajuste Fino Supervisado Condicionado por Confianza (CSFT) puede destilar la información de la autoconsistencia de múltiples muestras (un método robusto pero computacionalmente costoso) en una señal verbal de confianza fiable y de un solo paso.

2. Metodología

El estudio utilizó Gemma 3 4B-it y siguió un pipeline riguroso de evaluación psicométrica basado en el programa CMM (Teoría de la Detección de Señales Tipo 2).

Diseño Experimental

• Datos: Ítems extraídos de TriviaQA (calibración/entrenamiento y evaluación retenida) y MMLU (transferencia entre benchmarks).
• Derivación del Objetivo: Para cada ítem de entrenamiento, se generaron 10 muestras con temperatura $T=0.7$. El número de muestras correctas ($n_{correct}$) se mapeó a un objetivo de confianza (ej. $n_{correct}=10 \rightarrow 95\%$, $n_{correct}=0 \rightarrow 5\%$).
• Entrenamiento: Ajuste fino LoRA (rango 16) sobre el prompt de chat, entrenando al modelo para que genere la respuesta seguida del porcentaje de confianza derivado.
• Controles: Se entrenó un control de objetivo desordenado con arquitectura idéntica pero etiquetas de confianza permutadas aleatoriamente para distinguir entre aprender el formato versus aprender la señal.

Dos Fases

1. Protocolo Pre-registrado (Fase 0): Incluyó un filtro modal, restringiendo los datos de entrenamiento a ítems donde la respuesta más frecuente entre las 10 muestras era correcta.
2. Rescate Post-hoc: Se eliminó el filtro modal, permitiendo que el modelo se entrenara con los 2,000 ítems de calibración completos, incluidos aquellos con respuestas modales incorrectas (distribución bimodal).

3. Resultados Clave

A. Resultado Pre-registrado (Negativo)

• Resultado: El protocolo falló.
• Métricas: El AUROC2 verbal cayó de 0.554 (línea base) a 0.509. La precisión se degradó un 7.6%. La Escala de Calificación de Validez (VRS) permaneció "Inválida".
• Diagnóstico: Colapso de la Entropía de Etiquetas. El filtro modal eliminó todos los ítems donde el modelo estaba incierto o equivocado ($n_{correct} < 10$). El conjunto de entrenamiento resultante tenía objetivos de confianza alta casi uniformes (mayoritariamente 95%). El modelo aprendió a ignorar la entrada y generar la moda (95%), fallando en aprender cuándo expresar baja confianza.

B. Rescate Post-hoc (Positivo Exploratorio)

Al eliminar el filtro modal, el conjunto de entrenamiento incluyó una distribución bimodal: el 48.2% de los ítems tenían $n_{correct}=10$ (objetivo 95%) y el 36.5% tenían $n_{correct}=0$ (objetivo 5%).

• Rendimiento en TriviaQA:
  • AUROC2: Mejoró significativamente de 0.554 (línea base) a 0.774.
  • Tasa de Techo: Colapsó de 97.7% a 49.8%, indicando que el modelo aprendió a variar su confianza.
  • Naturaleza de la Señal: El modelo aprendió un discriminador binario (generando ya sea 5% o 95%) en lugar de una calibración continua. Comprimió exitosamente una señal de autoconsistencia de 10 muestras (AUROC2 = 0.999) en una lectura verbal de un solo paso, recuperando ~77.5% del poder de discriminación.
  • Comparación: La señal verbal destilada (0.774) superó a la entropía de logits de un solo paso (0.701).
• Transferencia entre Benchmarks en MMLU:
  • Precisión: Mejoró dramáticamente de 54.2% a 77.4%.
  • AUROC2: Mejoró de 0.535 a 0.616.
  • Control: El modelo de objetivo desordenado no mostró mejora (precisión 56.1%, AUROC2 0.523) y generó salidas verbosas e inanalizables, confirmando que las ganancias se debieron al contenido de los objetivos de confianza, y no solo al procedimiento LoRA.

4. Contribuciones Clave y Principios de Diseño

1. La Entropía de Etiquetas es Crítica: El estudio identifica el colapso de la entropía de etiquetas como un modo de fallo primario en el entrenamiento de confianza. Para entrenar a un modelo a expresar incertidumbre, el conjunto de entrenamiento debe incluir ejemplos de incertidumbre (objetivos de baja confianza). Filtrar los ejemplos "difíciles" o "incorrectos" garantiza el fracaso.
2. Destilación de la Autoconsistencia: Es posible destilar información de autoconsistencia de múltiples muestras (que usualmente requiere 10 pasos hacia adelante) en una señal verbal de un solo paso. Si bien existe una pérdida de compresión (~22.5%), la señal resultante es más informativa que la entropía de logits estándar y accesible mediante APIs estándar.
3. Regularización de Formato: El entrenamiento con objetivos de confianza correctos pareció regularizar el formato de salida. El modelo con objetivos reales produjo respuestas concisas y analizables, mientras que el modelo con objetivos desordenados generó texto verboso y no estructurado. Esto sugiere que los objetivos de confianza pueden actuar como regularizadores para la estructura de salida.
4. Compensación Precisión-Confianza: La intervención mejoró la discriminación pero causó una caída del 7.5% en la precisión de TriviaQA. Esto sugiere que el modelo adoptó una nueva "política de respuesta-confianza" que priorizó la señalización discriminativa sobre la generación de respuestas crudas, o que la señal de confianza ayudó a filtrar confabulaciones en otros benchmarks (MMLU).

5. Significado y Limitaciones

• Significado: Este trabajo proporciona una vía práctica para permitir que los LLMs "hablen" su incertidumbre de manera fiable sin requerir acceso a logits internos o múltiples pasos de muestreo. Destaca que el "canal verbal" es entrenable, pero requiere distribuciones de datos específicas (alta entropía) para funcionar.
• Limitaciones:
  • Salida Binaria: El modelo aprendió un clasificador binario (5% vs. 95%) en lugar de una calibración continua (ej. 60% de confianza).
  • Naturaleza Post-hoc: El resultado positivo no fue pre-registrado y requiere replicación.
  • Modelo/Semilla Única: Los resultados son específicos de Gemma 3 4B y una única semilla aleatoria.
  • Caída de Precisión: La mejora en la precisión de MMLU y la caída en la precisión de TriviaQA sugieren una interacción compleja entre el entrenamiento de confianza y las políticas de generación de respuestas que requiere estudios de ablación adicionales.

Conclusión

El artículo demuestra que, aunque los LLMs pequeños fallan naturalmente al reportar incertidumbre, esto puede remediarse mediante CSFT si los datos de entrenamiento preservan la entropía de etiquetas. Al entrenar sobre el espectro completo de resultados de autoconsistencia (incluyendo fallos), el modelo puede destilar un razonamiento complejo de múltiples muestras en una señal verbal de confianza fiable y de un solo paso, que supera las líneas base de entropía estándar y mejora el rendimiento en tareas entre benchmarks como MMLU.