Resumen Técnico: ¿Pueden los LLMs Rechazar Preguntas que No Conocen? Medición del Rechazo Consciente del Conocimiento en Tareas Factual

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más para tareas factuales intensivas en conocimiento. Sin embargo, a menudo sufren de una mala calibración, proporcionando respuestas incorrectas con alta confianza (alucinaciones). Un mecanismo de seguridad crítico es el rechazo consciente del conocimiento: la capacidad de un modelo para declinar responder preguntas que caen fuera de sus límites de conocimiento. Aunque trabajos recientes han explorado inducir rechazos mediante prompting o ajuste fino, las métricas de evaluación existentes no logran medir con precisión esta capacidad. Las métricas tradicionales, como las tasas de rechazo o combinaciones de precisión y rechazo (por ejemplo, puntuación F), a menudo son heurísticas, sensibles a cambios inducidos por el prompt en la frecuencia de rechazo, y no capturan la correlación fundamental entre la decisión de un modelo de rechazar y la incorrectitud real de la respuesta que habría proporcionado.

Metodología: El Índice de Rechazo (IR)

Para abordar estas brechas, los autores proponen el Índice de Rechazo (IR), una métrica novedosa diseñada para cuantificar el rechazo consciente del conocimiento.

Definición

El IR se define como la correlación de rango de Spearman entre la probabilidad de rechazo ($r_i$) de un modelo y su probabilidad de error ($w_i$) en un conjunto de preguntas.
$$\text{IR} = \rho_S = \text{Corr}(\text{Rango}(r_i), \text{Rango}(w_i))$$
Un IR perfecto de 1 indica que un modelo rechaza consistentemente las preguntas más difíciles (propensas al error) y responde a las más fáciles. Un IR de 0 implica un comportamiento de rechazo aleatorio. A diferencia de las métricas de calibración que miden discrepancias absolutas (por ejemplo, Error de Calibración Esperado), el IR se centra en el rango de dificultad, lo que lo hace robusto ante cambios en las tasas generales de rechazo.

Marco de Evaluación de Dos Pasos

Dado que las probabilidades de rechazo son latentes (un modelo rechaza o responde en un solo paso), los autores introducen un método de evaluación de dos pasos ligero para estimar el IR:

1. Primer Paso: Se evalúa el modelo en un conjunto de datos factual con un prompt del sistema que le permite responder o rechazar. Las respuestas se clasifican como Correctas, Incorrectas o Rechazadas. Esto produce la tasa de rechazo ($r$) y la precisión de las respuestas intentadas.
2. Segundo Paso: Para las preguntas rechazadas en el primer paso, el prompt del sistema se actualiza para forzar al modelo a responder (eliminando la opción de rechazo). Se registra la corrección de estas respuestas forzadas.
3. Cálculo: Utilizando la distribución conjunta de las decisiones de rechazo y la corrección de las respuestas forzadas, los autores modelan la relación mediante una cópula Gaussiana. Estiman el parámetro de correlación ($\rho$) mediante máxima verosimilitud en la resultante tabla de contingencia $2 \times 2$ y lo convierten a la correlación de rango de Spearman ($\rho_S$) usando la fórmula estándar: $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$.

Contribuciones Clave

1. Índice de Rechazo (IR): Una métrica fundamentada que mide directamente la alineación entre las decisiones de rechazo y la incorrectitud de la respuesta, independientemente de la precisión general del modelo o su tasa de rechazo.
2. Evaluación Ligera: Un protocolo de dos pasos que requiere únicamente evaluaciones estándar de caja negra (sin modelos auxiliares, acceso al estado interno o estimación de confianza basada en muestreo costosa) para calcular el IR.
3. Validación Empírica: Experimentos extensos en 16 modelos (incluyendo modelos de código abierto y propietarios como Qwen, Llama, Claude, GPT y Gemini) y 5 conjuntos de datos (SimpleQA, PreciseWikiQA, FaithEval, etc.).
4. Perspectiva sobre la Fiabilidad del Modelo: El estudio revela que una alta precisión factual no garantiza un comportamiento de rechazo fiable, identificando una brecha persistente en las capacidades actuales de los LLM.

Resultados Experimentales

• Estabilidad: El IR permanece estable a través de diferentes tasas de rechazo inducidas por variaciones en los prompts del sistema. Por el contrario, las métricas heurísticas (por ejemplo, puntuación F, Puntuación Ponderada) fluctúan significativamente (hasta un 70% de variación) cuando cambian las tasas de rechazo, fallando en capturar una capacidad subyacente consistente.
• Correlación con la Calibración: El IR muestra una fuerte correlación positiva (85,8%) con las puntuaciones AUROC derivadas de la estimación de incertidumbre basada en muestreo ($P(\text{Respuesta})$), validando su fidelidad como medida de calibración de rango.
• Clasificación de Modelos: El IR proporciona clasificaciones de modelos consistentes e independientes de la precisión y las tasas de rechazo. Cuando se eliminan los efectos monótonos de la precisión y las tasas de rechazo, las métricas heurísticas se degradan a una estabilidad cercana al azar, mientras que el IR mantiene una alta consistencia en la clasificación.
• Influencia de la Familia de Modelos: El predictor más fuerte de la capacidad de rechazo consciente del conocimiento es la familia del modelo (tubería de entrenamiento y datos), en lugar de la escala del modelo o la precisión general. Por ejemplo, los modelos Claude y Qwen superan consistentemente a otros en IR, mientras que las variantes de Gemini y GPT-4.1 a menudo caen por debajo de la línea de regresión.
• Sensibilidad al Contexto: Los modelos muestran un rendimiento de rechazo degradado cuando la verdad fundamental no está disponible en el contexto proporcionado (por ejemplo, en escenarios "Incontestables" o "Inconsistentes"), lo que sugiere una sobredependencia en las señales contextuales en lugar de la calibración del conocimiento interno.

Significado y Afirmaciones

El artículo afirma que el IR captura una dimensión esencial, previamente pasada por alto, de la fiabilidad del modelo. Mientras que las evaluaciones factuales actuales se centran en la precisión o las tasas de alucinación, el IR destaca que incluso los modelos con alta precisión pueden poseer comportamientos de rechazo poco fiables y frágiles.

Los autores argumentan que:

1. El prompting es insuficiente: Simplemente instruir a los modelos para que sean "más cautelosos" aumenta las tasas de rechazo, pero no mejora la calidad de las decisiones de rechazo (el IR permanece estable y lejos de ser perfecto).
2. Necesidad de nuevos estándares de evaluación: La evaluación factual exhaustiva debe incorporar medidas de rechazo consciente del conocimiento. Confiar únicamente en la precisión o en métricas de calibración estándar puede ocultar riesgos significativos en el despliegue de modelos.
3. Utilidad Práctica: La evaluación de IR de dos pasos ofrece una alternativa práctica y de bajo costo a los métodos de calibración costosos, permitiendo comparaciones más fiables del autoconocimiento del modelo sin requerir acceso de caja blanca o entrenamiento auxiliar.

El trabajo concluye que, aunque los LLM están mejorando en precisión factual, su capacidad para juzgar con precisión los límites de su propio conocimiento sigue siendo un desafío crítico que requiere medición e mejora dedicadas.