Resumen Técnico: La Brecha de Granularidad de la Puntuación en la Clasificación de LLM de Caja Negra

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Tamaño (LLM) se despliegan cada vez más como clasificadores de caja negra en procesos de alto riesgo (p. ej., triaje médico, moderación de contenido) que dependen de la predicción selectiva. En este entorno, un operador establece un umbral de confianza para automatizar las predicciones de alta confianza y derivar aquellas inciertas a revisión humana.

La investigación previa se ha centrado en si la confianza de los LLM está calibrada (¿significa un 80% declarado un 80% de precisión?) o si está clasificada correctamente (¿ordena los errores por debajo de las predicciones correctas?). Sin embargo, este artículo identifica una dimensión crítica y pasada por alto para el despliegue: la granularidad de la puntuación.

El problema central es la Brecha de Granularidad de la Puntuación: una puntuación de confianza puede clasificar los casos perfectamente, pero ser inútil para un control detallado si solo toma unos pocos valores distintos. Si una puntuación ofrece solo $V$ valores distintos, un operador puede definir como máximo $V$ puntos de operación no triviales (umbrales), independientemente de qué tan bien clasifique la puntuación. Esto crea una "escalera tosca" de compensaciones entre riesgo y cobertura, en lugar de un dial suave, lo que vuelve al sistema inflexible para presupuestos de error específicos.

2. Metodología

Configuración Experimental

El estudio evalúa siete construcciones de confianza a través de 25 pares de modelo-conjunto de datos (9 LLM de diversas capacidades en 3 referentes: BoolQ, MNLI y PubMedQA). Los modelos varían desde fuertes (p. ej., GPT-4o-mini, Llama-3.1-70B) hasta débiles (p. ej., GPT-5-nano, Llama-3.1-8B).

Construcciones de Confianza

Los autores comparan métodos que entran en dos categorías:

1. Single-Shot (1 llamada al modelo):
   • Verbalización (Verb): Confianza verbalizada convertida a una probabilidad de clase (manejando las predicciones de la clase negativa mediante $P(pos) = 1-c$ si $\hat{y}=0$).
   • Verb-logprob: Log-probabilidades del primer token (donde el acceso a la API lo permite).
   • Verb-logprob+T: Log-probabilidades con escalado de temperatura post-hoc.
2. Multi-Señal (10 llamadas al modelo por entrada):
   • Descomposición de Subtareas: El modelo responde a 10 sub-preguntas de sí/no diseñadas a mano e interpretables (p. ej., "solapamiento_léxico", "implicación_semántica").
   • Paráfrasis de Multi-Prompt: El modelo responde a 10 versiones parafraseadas del prompt original.
   • Agregación: Los 10 puntajes escalares se combinan mediante:
     • Promedio Simple: Media ingenua.
     • Combinación Aprendida (LR): Regresión logística con regularización L2 para aprender pesos y signos.
     • Calibración: Escalado de temperatura aplicado a los logits de la regresión logística.

Métricas

El estudio evalúa las puntuaciones a lo largo de tres ejes:

1. Calidad de Clasificación (Ranking): Medida por PR-AUC (y PR-AUC$_N$ normalizado) y AURC (Área bajo la Curva de Riesgo-Cobertura).
2. Resolución de la Puntuación: Medida por:
   • Granularidad ($G$): Número de valores distintos.
   • Entropía de la Puntuación ($H$): Dispersión de la distribución en 20 contenedores (bins).
   • Masa Interior ($M$): Fracción de puntuaciones en el rango útil $(0.1, 0.9)$.
3. Costo e Interpretabilidad: Número de llamadas al modelo y la capacidad de auditar el razonamiento (las subtareas proporcionan esto; las paráfrasis no).

3. Resultados Clave

La Brecha de Granularidad

• Confianza Verbalizada (Verb): Clasifica sorprendentemente bien (media de PR-AUC$_N$ normalizado = 0.80) pero es extremadamente tosca. Típicamente ofrece solo 1–21 valores distintos (media $G=9$), con el 45% de los casos compartiendo el valor más común. Esto limita a los operadores a aproximadamente 9 umbrales, creando una curva de riesgo-cobertura en forma de escalera.
• Resolución vs. Clasificación: Una alta capacidad de clasificación no implica alta resolución. Una puntuación puede ordenar los casos perfectamente y, sin embargo, ser inutilizable para el establecimiento de umbrales si carece de valores distintos.

Efectos de la Agregación

• Expansión de la Resolución: La agregación multi-consulta (Sub-cal, MP-LR) expande consistentemente la resolución, aumentando $G$ a una media de 138 y llenando la masa interior ($M \approx 45\%$).
• El impacto en la Clasificación es Selectivo:
  • Modelos Débiles: La agregación mejora la clasificación para modelos con precisión $\lesssim 85\%$.
  • Modelos Fuertes: La agregación puede degradar la clasificación para modelos fuertes (precisión $\gtrsim 90\%$). Los pesos aprendidos pueden perturbar la ya buena clasificación de las puntuaciones verbalizadas, resultando en un peor AURC en 13 de 18 pares de modelos fuertes.
• Aprendido vs. Ingenuo: El promedio simple a menudo falla (p. ej., cayendo casi al nivel del azar en MNLI) debido a polaridades conflictivas en las subtareas. La regresión logística aprendida es esencial para recuperar la señal mediante la asignación de signos y pesos correctos.

Interpretabilidad

• Subtareas vs. Paráfrasis: La agregación por paráfrasis (MP-LR) a menudo iguala o supera a la agregación por subtareas (Sub-LR) en cuanto a clasificación. Sin embargo, las subtareas proporcionan propiedades de despliegue: transparencia de pesos, atribución de errores y pistas de auditoría (razonamientos para cada sub-puntuación).
• Modos de Fallo: Las subtareas pueden fallar si las sondas diseñadas a mano no rastrean la etiqueta (p. ej., un colapso específico del modelo en BoolQ), pero estos fallos son visibles y auditables, a diferencia de los fallos silenciosos de los ensambles de paráfrasis de caja negra.

Probabilidades de Token

Donde están disponibles, las log-probabilidades brutas ofrecen mejor resolución que las puntuaciones verbalizadas. El escalado de temperatura post-hoc mejora significamente la resolución (aumentando $G$ a 51–69) y la cobertura en tasas de error bajas, todo esto con un costo de 1x.

4. Guía de Despliegue

El artículo propone un procedimiento de decisión basado en la fuerza del modelo y las restricciones:

1. Siempre convertir la confianza verbalizada a probabilidad de clase.
2. Si las log-probabilidades están disponibles: Usarlas con escalado de temperatura (mejor relación costo/resolución).
3. Si el modelo es débil ($\lesssim 85\%$ de precisión): Usar agregación multi-consulta (costo 10x) para mejorar tanto la clasificación como la resolución.
4. Si el modelo es fuerte ($\gtrsim 90\%$ de precisión): Mantenerse con la confianza verbalizada para el riesgo-cobertura (para evitar la degradación). Usar la agregación solo si se requiere estrictamente un control de umbral de grano fino.
5. Si se requiere interpretabilidad: Preferir la descomposición de subtareas sobre la de paráfrasis, ya que proporciona transparencia sin sacrificar la clasificación (en relación con MP-LR).

5. Significado y Reivindicaciones

El artículo afirma cambiar el paradigma de evaluación de la confianza de los LLM de un binario "¿es confiable?" a uno orientado al despliegue: "¿a qué resolución puede ser actuado?".

• Reencuadre de la "Inconfiabilidad": La narrativa de que "la confianza de los LLM es poco fiable" es en parte un artefacto de confundir la confianza en la respuesta con la probabilidad de clase e ignorar la resolución. Una vez convertida, la confianza verbalizada clasifica bien pero carece de granularidad.
• Claridad en la Compensación: El estudio separa explícitamente la clasificación, la cobertura de riesgo global y la controlabilidad del umbral. Demuestra que la agregación compra de forma fiable puntos de operación (control más fino) pero no mejora universalmente la clasificación, y puede dañar a los modelos fuertes.
• La Interpretabilidad como Propiedad: Los autores argumentan que la interpretabilidad no es una ventaja de clasificación, sino una propiedad de despliegue necesaria para dominios regulados, alcanzable mediante puntuaciones de subtareas.

Los autores concluyen que las evaluaciones futuras deben reportar métricas de resolución (granularidad, entropía, masa interior) junto con métricas de clasificación, ya que una puntuación que clasifica perfectamente pero ofrece solo un puñado de umbrales no está lista para el despliegue.