Geometry-Calibrated Conformal Abstention for Language Models

A continuación se presenta un resumen técnico detallado del artículo "Geometry-Calibrated Conformal Abstention for Language Models".

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) a menudo no logran reconocer sus propios límites de conocimiento. Cuando se enfrentan a consultas fuera de su distribución de entrenamiento o base de conocimientos, tienden a generar respuestas que suenan plausibles pero son factualmente incorrectas (alucinaciones) en lugar de abstenerse (decir "no lo sé").

• Limitaciones del Entrenamiento: Reentrenar modelos para recompensar la abstención es difícil debido a la escasez de puntos de referencia que penalizan explícitamente las conjeturas y recompensan la ignorancia. Además, tales intervenciones pueden provocar sobreajuste o un comportamiento excesivamente conservador, donde los modelos se niegan a responder incluso cuando conocen la respuesta.
• Métodos Post-hoc Existentes: La Predicción Conformal (CP) tradicional ofrece garantías de muestras finitas para la incertidumbre, pero depende de "puntuaciones de no conformidad". En la generación de texto abierto, definir una función de puntuación de verdad fundamental es intratable porque las respuestas correctas pueden adoptar infinitas formas semánticamente equivalentes.
• Pregunta Central: ¿Pueden los LLM equiparse con un mecanismo post-hoc para abstenerse de responder de manera fiable cuando hay incertidumbre, sin reentrenamiento, mientras se proporcionan garantías teóricas sobre la corrección?

2. Metodología: Abstención Conformal (CA)

Los autores proponen la Abstención Conformal (CA), un marco que combina la teoría de la Predicción Conformal con una estrategia novedosa de calibración basada en la geometría de representaciones.

A. Marco Teórico (Abstención Conformal)

CA adapta la CP al escenario de generación de lenguaje centrándose en la confianza de predicción en lugar de las puntuaciones de no conformidad. Establece dos garantías de muestras finitas:

1. Garantía de Participación: Acota la probabilidad de que el modelo proporcione una respuesta (no se abstenga).
2. Garantía de Corrección Condicional: Acota la probabilidad de que una respuesta proporcionada sea correcta, dado que el modelo eligió participar.

El marco utiliza una puntuación de incertidumbre $r(\hat{y}|x)$ (por ejemplo, perplejidad). Al establecer un umbral $\tau$ basado en un conjunto de calibración, el modelo se abstiene si la puntuación supera $\tau$. Las demostraciones teóricas (Teorema 3.1, Lema 3.2) demuestran que si los pares entrada-salida son intercambiables, la corrección condicional de las respuestas retenidas está acotada inferiormente por un nivel de confianza especificado por el usuario.

B. Calibración mediante Geometría de Representación

Para asegurar que la puntuación de incertidumbre refleje fielmente el estado interno del modelo (conocimiento vs. ignorancia), los autores introducen una estrategia de calibración basada en la geometría de las representaciones de tokens a través de las capas del transformador. Hipotetizan que cuando un modelo aprovecha el conocimiento interno, las actualizaciones del MLP (Perceptrón Multicapa) inducen transformaciones geométricas específicas en los estados ocultos.

Extraen tres señales geométricas de la trayectoria de la incrustación del último token de la consulta:

1. Proximidad ($\omega$): Mide la contribución de la actualización del MLP. Calcula la distancia entre las incrustaciones pre-MLP y post-MLP. Una distancia pequeña (alta proximidad) indica que el MLP dio forma activamente a la representación.
2. Rotación de Incrustación ($\theta$): Mide el ángulo de rotación inducido por la actualización del MLP. Las rotaciones grandes sugieren un cambio significativo en la dirección de la predicción, a menudo asociado con la recuperación de conocimientos específicos.
3. Alineación ($\phi$): Mide el ángulo entre la incrustación del token y la dirección anisotrópica dominante de los datos dentro de la distribución. Una alta alineación sugiere que el modelo está operando dentro de su distribución aprendida; la desviación sugiere extrapolación (incertidumbre).

Hipótesis Validadas:

• H1: Las predicciones correctas se asocian con una fuerte contribución de conocimiento (alta $\omega$) que induce una rotación significativa (alta $\theta$).
• H2: Las predicciones correctas permanecen alineadas con el cono anisotrópico dentro de la distribución (baja $\phi$), mientras que las incorrectas se desvían.

C. Pipeline de Calibración

1. Extracción de Características: Para cada token, el modelo calcula un vector de características $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ que captura las señales geométricas a través de todas las capas.
2. Cálculo de Distancia: El sistema calcula la distancia de Mahalanobis de estas características desde las distribuciones de predicciones correctas e incorrectas.
3. Entrenamiento del Calibrador: Se entrena un modelo XGBoost para mapear estas características geométricas (combinadas con la perplejidad cruda) en una puntuación de incertidumbre refinada.
4. Decisión: La puntuación de incertidumbre final determina si abstenerse basándose en el umbral conformal.

3. Contribuciones Clave

1. Marco de Abstención Conformal: Un método post-hoc que proporciona garantías rigurosas de muestras finitas tanto para las tasas de participación como para la corrección condicional en la generación abierta, evitando la intratabilidad de las puntuaciones de no conformidad.
2. Calibración Basada en Geometría: Un enfoque novedoso para la cuantificación de la incertidumbre que aprovecha las dinámicas geométricas internas de las capas del transformador (contribuciones del MLP, rotaciones y anisotropía) para alinear mejor la confianza con la corrección real.
3. Garantías Teóricas: Demostraciones que muestran que la intercambiabilidad se preserva bajo las transformaciones deterministas utilizadas para derivar las puntuaciones de incertidumbre, asegurando la validez de los límites conformales.
4. Evaluación Exhaustiva: Experimentos extensos en seis conjuntos de datos diversos (NQ, TruthfulQA, GSM8K, etc.) y múltiples tamaños de modelo (Gemma-3, LLaMA-3).

4. Resultados Experimentales

• Rendimiento: El método propuesto supera significativamente a las líneas base sólidas (incluyendo Perplejidad, Entropía Semántica, métodos basados en atención y confianza verbalizada) en todos los conjuntos de datos.
• Corrección Condicional: Bajo la abstención conformal, el método logra una corrección condicional promedio del 75.0%. Esto significa que cuando el modelo decide responder, es correcto el 75% de las veces, una mejora significativa sobre las líneas base que a menudo oscilan entre el 50-60%.
• Robustez: El método mantiene un alto rendimiento a través de diferentes tasas de participación (desde el 10% hasta el 90% de las consultas respondidas).
• Estudios de Ablación: Permutar las señales geométricas ($\omega, \theta, \phi$) provoca caídas de rendimiento comparables, lo que indica que las tres señales son cruciales y complementarias.
• Calibración de Línea Base: Los autores muestran que simplemente aplicar su calibrador a las líneas base existentes a menudo degrada el rendimiento (debido al sobreajuste en señales de baja dimensión), mientras que sus características geométricas de alta dimensión se benefician significativamente de la calibración.

5. Significado

Este trabajo aborda una brecha crítica de fiabilidad en el despliegue de LLM. Al permitir que los modelos se abstengan selectivamente con garantías teóricas, CA reduce el riesgo de alucinaciones en dominios de alto riesgo (salud, derecho, ciencia) sin requerir reentrenamiento costoso. La introducción de la geometría de representación como proxy para la "participación del conocimiento" ofrece un nuevo paradigma para la cuantificación de la incertidumbre, yendo más allá de las probabilidades superficiales hacia los mecanismos internos de cómo los modelos procesan la información. Esto hace que el sistema sea más confiable y accionable para aplicaciones del mundo real donde admitir la ignorancia es preferible a proporcionar información falsa.