Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

Resumen Técnico: Second Guess: Detección de Incertidumbre mediante Abstención y Estabilidad de Respuesta en Modelos de Lenguaje Pequeños

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) generan frecuentemente respuestas incorrectas pero con confianza en lugar de abstenerse cuando están inciertos. Este problema es particularmente agudo para los Modelos de Lenguaje Pequeños (SLM), definidos aquí como modelos generativos basados en transformadores con menos de 10 mil millones de parámetros. Los SLM se despliegan cada vez más en entornos de borde y móviles, donde las restricciones computacionales y la operación autónoma (a menudo sin supervisión humana inmediata) hacen necesaria una detección fiable de la incertidumbre. Los métodos existentes para habilitar la abstención enfrentan limitaciones significativas: los enfoques basados en entrenamiento requieren acceso a los pesos del modelo y reentrenamiento; los métodos basados en prompts que dependen de la confianza autoinformada a menudo fallan, ya que los modelos no se autoevalúan con precisión; y los métodos de consenso basados en muestreo incurren en una sobrecarga computacional prohibitiva, inadecuada para SLM con recursos limitados.

Metodología: Second Guess
El artículo propone "Second Guess", una técnica de prompting ligera y libre de parámetros diseñada para la respuesta a preguntas de opción múltiple (MCQA) que no requiere acceso a estados internos del modelo ni a sus parámetros. El método se basa en la intuición empírica de que los modelos con conocimiento estable proporcionarán respuestas consistentes independientemente de las opciones disponibles, mientras que los modelos inciertos exhiben un comportamiento inestable cuando se introduce una opción de "No lo sé".

La técnica implica dos pasos de adelante por pregunta:

1. Prompt Original: Se solicita al modelo el conjunto estándar de cuatro opciones de respuesta ($C = \{c_1, c_2, c_3, c_4\}$), obteniendo la respuesta $R_1$.
2. Prompt Aumentado: Se inserta una opción de "No lo sé" en una posición aleatoria dentro del conjunto de opciones ($C' = \{c_1, c_2, c_3, c_4, \text{"No lo sé"}\}$), y se solicita al modelo nuevamente para obtener la respuesta $R_2$.

La salida final $R$ se determina comparando las dos respuestas:

• Si $R_1 = R_2$, se conserva la respuesta original.
• Si $R_1 \neq R_2$ (independientemente de cuál sea la nueva respuesta), la salida se clasifica como una abstención ("No lo sé").

Este enfoque trata efectivamente las discrepancias en las respuestas entre los dos prompts como una señal de incertidumbre, requiriendo solo dos consultas por pregunta.

Configuración Experimental
Los autores evaluaron Second Guess en cuatro SLM ajustados con instrucciones (que van de 2B a 8B parámetros: Mistral-7B, Llama-3.1-8B, IBM Granite-3.3-2B y Qwen3-4B) en cuatro benchmarks de MCQA: CommonsenseQA, QASC, MMLU-Pro y SuperGPQA. La evaluación incluyó tanto modelos base como modelos ajustados finamente utilizando Adaptación de Bajo Rango (LoRA).

El método se comparó contra varias líneas base:

• Prompt Original: MCQA estándar sin aumento.
• Prompt Aumentado: Un enfoque de un solo paso donde "No lo sé" se incluye desde el inicio.
• Autoevaluación: Una estrategia de dos pasos donde el modelo verifica su propia respuesta.
• Umbralización de Entropía: Un método post-hoc que convierte salidas de alta entropía en abstenciones.

Resultados Clave
La evaluación utilizó tres métricas: Precisión, Tasa de Error y Riesgo Compuesto (una combinación de respuestas incorrectas y casos donde el modelo se abstiene a pesar de tener originalmente la respuesta correcta).

1. Reducción del Riesgo Compuesto: Second Guess logró la mayor mejora en el riesgo compuesto de 10.81% en todos los modelos base y conjuntos de datos, superando a la mejor línea base (Autoevaluación con 7.69%) mientras utilizaba el mismo número de consultas (dos).
2. Robustez frente al Ajuste Fino: En modelos ajustados finamente, Second Guess mantuvo una mejora en el riesgo compuesto del 8%. Por el contrario, los métodos basados en entropía se degradaron significativamente en modelos ajustados finamente, ya que el aumento de la confianza del modelo hizo que la entropía de los tokens fuera menos informativa para la detección de incertidumbre.
3. Relación Inversa con el Rendimiento Base: El artículo identifica una relación inversa entre la precisión base de un modelo y la mejora obtenida de Second Guess. Los modelos con menor precisión base (por ejemplo, Llama en SuperGPQA con ~32% de precisión) experimentaron las reducciones de riesgo más significativas (superando el 25%), mientras que los modelos de alto rendimiento vieron ganancias modestas o nulas.
4. Mecanismo de Mejora: El análisis de las transiciones de respuestas reveló que la reducción del riesgo se deriva principalmente de detectar el cambio de opciones en lugar de la selección explícita de "No lo sé". Los modelos que estaban inciertos tendían a cambiar entre opciones incorrectas cuando se añadía la opción "No lo sé", en lugar de seleccionar consistentemente el token de abstención.

Significado y Afirmaciones
El artículo afirma que Second Guess ofrece una solución práctica y accesible para mejorar la fiabilidad de los SLM en contextos críticos para la seguridad y autónomos. Su importancia radica en ser:

• Libre de parámetros: No requiere ajuste de hiperparámetros ni acceso a los pesos del modelo.
• Computacionalmente eficiente: Solo exige dos pasos de adelante, haciéndolo viable para SLM de caja negra y dispositivos de borde donde los métodos basados en muestreo son demasiado costosos.
• Efectivo para modelos de menor rendimiento: Se dirige específicamente a la brecha de fiabilidad en modelos más pequeños y menos capaces, donde la reducción de errores es más crítica.

Los autores señalan limitaciones, reconociendo que la utilidad del método disminuye a medida que aumentan la escala del modelo y el rendimiento base, y que la evaluación no incluyó razonamiento de Cadena de Pensamiento (CoT), lo cual podría alterar las capacidades de las líneas base. Sin embargo, el trabajo establece que la inestabilidad conductual (cambio de respuestas) es una señal robusta y detectable de incertidumbre que puede aprovecharse para inducir abstención sin cambios arquitectónicos complejos.