Resumen Técnico: Estimación de Confianza Zero-Shot para Modelos LLM Pequeños

Declaración del Problema

El despliegue fiable de modelos de lenguaje pequeños (SLM, 7–8 mil millones de parámetros) para el enrutamiento local-a-nube depende de una estimación de confianza precisa. El objetivo es dirigir consultas sencillas a un modelo local económico y escalar las difíciles a un modelo de nube costoso. El enfoque dominante implica entrenar un clasificador supervisado (por ejemplo, RouteLLM) con datos etiquetados para predecir el éxito del modelo basándose en incrustaciones de consultas. Sin embargo, este enfoque adolece de fragilidad: los estimadores supervisados aprenden propiedades de la distribución específica de consultas (regiones de incrustación correspondientes a preguntas "fáciles") en lugar de la capacidad interna del modelo. En consecuencia, estos estimadores fallan al transferirse cuando las distribuciones de consultas cambian, se introducen nuevos dominios o en escenarios de inicio en frío donde no existen datos etiquetados.

Metodología

El artículo evalúa señales de confianza zero-shot frente a líneas base supervisadas en tres familias de modelos de 7–8 mil millones de parámetros (Qwen-2.5-7B, Llama-3.1-8B-Instruct, Mistral-7B-Instruct) y dos conjuntos de datos (MMLU-Pro y TriviaQA).

Señales Evaluadas

1. Señales Zero-Shot (Sin Datos de Entrenamiento):

   • Log-probabilidad (logprob): La log-probabilidad promedio por token de la respuesta generada, mapeada a [0, 1]. Esto mide la sorpresa a nivel de token del modelo.
   • Autoevaluación (GSA): Una sonda de un solo token que pregunta "¿Estás seguro?" donde la puntuación es la probabilidad normalizada del token "SÍ".
   • Autoevaluación Condicional a la Recuperación (GSA v3): Una señal novedosa pre-generación que inyecta conocimiento recuperado solo cuando las puntuaciones de similitud superan un umbral ($\tau=0.70$). Si no se encuentran coincidencias fuertes, el prompt permanece idéntico en bytes al prompt desnudo para evitar que el modelo sea condicionado hacia "NO" debido a la ausencia de contexto.
   • Autoconsistencia (SC): Similitud de Jaccard entre dos generaciones independientes.
   • Similitud de Conocimiento (KS): Similitud coseno entre la consulta y las entradas de la base de conocimientos recuperada.

2. Líneas Base Supervisadas:

   • RouteLLM-nm: Regresión logística entrenada con incrustaciones de consultas para predecir la suficiencia local.
   • RouteLLM-pks: Regresión logística entrenada con incrustaciones de consultas concatenadas con la similitud de conocimiento.
   • El entrenamiento se realizó con 1.000 ejemplos etiquetados por modelo.

Configuración Experimental

• Conjuntos de Datos: MMLU-Pro (preguntas de opción múltiple de 10 opciones, ~950 consultas/modelo) y TriviaQA (de respuesta abierta, 500 consultas/modelo).
• Evaluación: Área bajo la curva del receptor operante característico (AUROC) con intervalos de confianza de bootstrap de 1.000 muestras.
• Juez: Claude Opus 4.5 utilizado para el etiquetado, con seguimiento de las tasas de fallback.

Resultados Clave

1. Rendimiento Intra-Distribución

En MMLU-Pro, la log-probabilidad surgió como la mejor señal zero-shot individual, logrando AUROCs de 0.714 (Qwen), 0.650 (Llama) y 0.678 (Mistral). Igualó o superó a las líneas base supervisadas (RouteLLM-nm/pks), que oscilaron entre 0.644 y 0.676. Cabe destacar que una línea base supervisada entrenada con 1.000 ejemplos nunca superó consistentemente a la señal zero-shot de log-probabilidad.

2. Transferencia Fuera de Distribución (Entre Conjuntos de Datos)

El hallazgo más significativo es la divergencia en la transferibilidad:

• Colapso de las Líneas Base Supervisadas: Cuando los modelos entrenados en MMLU-Pro se probaron en TriviaQA, el rendimiento de RouteLLM cayó a niveles de azar (AUROC 0.512–0.564).
• Mejora de las Señales Zero-Shot: El rendimiento de la log-probabilidad aumentó en TriviaQA, alcanzando AUROCs de 0.828 (Qwen), 0.800 (Llama) y 0.717 (Mistral).
• Explicación: Las señales supervisadas aprenden propiedades del lado de la consulta (regiones de incrustación) específicas de la distribución de entrenamiento. Las señales zero-shot miden propiedades del lado de la generación (sorpresa a nivel de token), que son intrínsecas al modelo e independientes de la distribución de entrada.

3. Curvas de Aprendizaje y Latencia

• Curva de Aprendizaje: El enrutamiento supervisado es inestable con tamaños de muestra pequeños (N=25) y converge alrededor de N=250–500, pero incluso en N=1.000, no supera la línea base zero-shot.
• Latencia: La log-probabilidad requiere una generación completa (1.5–4.8s). GSA v3 actúa como un filtro pre-generación con latencia significativamente menor (0.5–0.8s), ofreciendo una aceleración de 3–10 veces sobre la log-probabilidad mientras mejora sobre la autoevaluación desnuda en hasta +0.069 AUROC.

4. Fusión de Señales

La fusión ingenua (promedio simple) de múltiples señales generalmente degradó el rendimiento, arrastrando señales fuertes (log-probabilidad) hacia abajo hacia las más débiles (por ejemplo, Similitud de Conocimiento, que estaba consistentemente invertida).

Significado y Afirmaciones

El artículo afirma que la log-probabilidad promedio por token es una alternativa robusta y sin costo a la enrutamiento supervisado para tareas de QA fáctico. Su significado principal radica en demostrar que:

1. Las señales del lado de la generación se transfieren; las del lado de la consulta no: La distinción mecánica entre medir el proceso de generación del modelo frente a la distribución de consultas explica por qué el enrutamiento supervisado falla bajo cambios de distribución.
2. La supervisión a menudo es innecesaria: Para modelos de 7–8 mil millones de parámetros en tareas fácticas, entrenar un clasificador con 1.000 ejemplos etiquetados no ofrece ninguna ventaja sobre una simple verificación de log-probabilidad zero-shot y falla completamente cuando cambia el dominio.
3. Autoevaluación Condicional a la Recuperación: Esta señal pre-generación novedosa ofrece una alternativa de baja latencia que fundamenta selectivamente los juicios de confianza sin introducir efectos de condicionamiento negativo.

Limitaciones

Los autores notan explícitamente que el alcance se limita a:

• Dos conjuntos de datos de QA fáctico (MMLU-Pro, TriviaQA); el razonamiento, la creatividad y las tareas multi-turno no fueron probados.
• Tres modelos de escala similar (7–8 mil millones); la hipótesis de que la log-probabilidad mejora con la escala no fue probada.
• Bases de conocimientos estáticas; no se simularon entornos de producción con KBs en crecimiento.
• Ruido en las etiquetas (~13% de desacuerdo entre jueces), aunque las comparaciones diferenciales permanecen robustas.

El artículo concluye que para los profesionales que implementan enrutamiento local-a-nube en QA fáctico, la log-probabilidad debe ser el punto de partida predeterminado, con GSA v3 como un pre-filtro de baja latencia, reservando el entrenamiento supervisado solo para escenarios con distribuciones estables y conocidas donde el enrutamiento pre-generación sea estrictamente requerido.