Resumen Técnico: ¿Pueden los reordenadores (rerankers) de LLM predecir su propio rendimiento de clasificación?

Planteamiento del Problema

La efectividad de la recuperación varía significamente entre consultas; algunas están bien cubiertas por la colección, mientras que otras sufren de ambigüedad, desajuste de vocabulario o falta de documentos relevantes. En consecuencia, un sistema que funciona bien en promedio puede aun así devolver resultados deficientes para consultas específicas, lo cual es particularmente perjudicial cuando los pasajes mejor clasificados se presentan a los usuarios o se alimentan en modelos de lenguaje con recuperación aumentada (RAG).

La Predicción del Rendimiento de la Consulta (QPP, por sus siglas en inglés) tiene como objetivo estimar la calidad de la clasificación antes de que las evaluaciones de relevancia estén disponibles. Sin embargo, los métodos existentes suelen funcionar como módulos separados colocados después de la recuperación o el reordenamiento. Este artículo investiga la QPP interna del reordenador: la cuestión de si un reordenador de LLM puede estimar la calidad del ordenamiento que acaba de producir. Este escenario es distinto de la QPP estándar porque la señal de confianza debe originarse en el propio reordenador, aprovechando su comprensión interna de la relevancia de los documentos.

Metodología

El estudio evalúa enfoques tanto libres de entrenamiento como basados en entrenamiento utilizando modelos LLaMA3.1 y Qwen2.5 en los tracks de TREC Deep Learning (2019–2022).

1. Enfoques Libres de Entrenamiento

Los autores examinan dos métodos que no requieren entrenamiento supervisado adicional:

• Autoconsistencia específica de métricas: El reordenador genera un ranking "codicioso" (temperatura $T=0$) y $N=20$ rankings "muestreados" ($T=1$). La consistencia se mide entre la lista codiciosa y las listas muestreadas utilizando métricas específicas de IR:
  • Precisión@k: Medida mediante la relación de superposición de los elementos top-$k$.
  • NDCG-I@k: Medida mediante un solapamiento de rango sesgado (RBO) truncado para tener en cuenta el descuento basado en la posición.
  • MRR@k: Medido mediante el rango recíproco del elemento mejor clasificado de la lista codiciosa dentro de la lista muestreada.
• Confianza Verbalizada: Se le pide al modelo que genere una puntuación numérica de confianza (por ejemplo, "Confianza: 0.85") junto con la lista de clasificación.

2. Enfoques Basados en Entrenamiento

Para abordar los problemas de calibración encontrados en los métodos libres de entrenamiento, los autores proponen dos métodos de ajuste fino supervisado que permiten al reordenador producir estimaciones calibradas con un costo de generación mínimo adicional:

• Verb-Num: El modelo es entrenado para producir un valor escalar que representa una métrica de IR específica (por ejemplo, NDCG@10) junto con la clasificación.
• Verb-List: El modelo es entrenado para producir una lista de indicadores de relevancia binaria (por ejemplo, [1, 0, 1, ...]) para los documentos mejor clasificados. Este método es agnóstico a la métrica, centráéndose en los juicios de relevancia en lugar del cálculo explícito de la métrica.

Aumento de Datos: Para superar la escasez de anotaciones humanas en los datos de entrenamiento (MS MARCO), los autores utilizan un modelo de razonamiento potente (Qwen3-32B) para aumentar las anotaciones de relevancia para los 10 pasajes superiores de las consultas de entrenamiento. Emplean un equilibrio de etiquetas para mitigar los posibles sesgos introducidos por el modelo anotador.

Hallazgos Clave

Rendimiento de los Métodos Libres de Entrenamiento

• Autoconsistencia: Este enfoque demuestra ser una señal fuerte libre de entrenamiento. Logra una correlación de Spearman competitiva con el método no supervisado de vanguardia (SOTA), QPP-Gen, y está mejor calibrado (menor Error de Calibración Esperada, ECE) en casi todos los escenarios. Sin embargo, puede tener un rendimiento inferior en métricas orientadas a la precisión (Precision@k, MRR) en escenarios con documentos relevantes densos, donde el modelo puede clasificar consistentemente diferentes subconjuntos relevantes en la parte superior, resultando en una alta calidad pero baja consistencia.
• Confianza Verbalizada (Zero-Shot): La confianza verbalizada directa es extremadamente sobreconfiada. Los reordenadores de LLM asignan puntuaciones de confianza altas (a menudo >0.8) a la mayoría de las consultas independientemente de su rendimiento real, lo que conduce a una mala calibración y una baja correlación con la verdadera calidad del ranking. Esta sobreconfianza persiste incluso a medida que aumenta el tamaño del modelo.

Rendimiento de los Métodos Basados en Entrenamiento

• Verb-Num y Verb-List: Ambos métodos supervisados mejoran significamente el rendimiento de QPP en comparación con las líneas base no supervisadas.
  • Verb-Num tiende a lograr una mayor discriminabilidad (mayor correlación de Spearman), probablemente porque modela explícitamente el cálculo de la métrica.
  • Verb-List logra una mejor calibración (menor ECE) y requiere solo unos pocos tokens de salida adicionales. Aprende juicios de relevancia sin la complejidad de calcular puntuaciones de métricas exactas, lo que hace que sus predicciones sean numéricamente más cercanas al rendimiento real, aunque puede perder matices posicionales.
• Eficiencia: A diferencia de QPP-Gen, que requiere una inferencia separada sobre cada pasaje recuperado, los métodos verbalizados introducen un costo mínimo al generar solo unos pocos tokens después de que se produce la clasificación.

Significancia y Contribuciones

El artículo realiza tres contribuciones principales:

1. Formulación de la QPP Interna del Reordenador: Identifica la conexión entre QPP y la calibración de confianza en la Respuesta a Preguntas (QA), formulando un nuevo escenario donde el reordenador sirve como su propio estimador de calidad.
2. Análisis de Señales de Confianza: Demuestra que, si bien la autoconsistencia específica de métricas es una señal competitiva y bien calibrada, la confianza verbalizada directa en los LLM sufre de una sobreconfianza severa sin intervención.
3. Propuesta de Métodos de Entrenamiento: Introduce Verb-Num y Verb-List, dos técnicas supervisadas que permiten a los reordenadores de LLM producir estimaciones calibradas de la calidad de la clasificación con un costo de generación adicional mínimo.

Los autores concluyen que, aunque los LLM tienen dificultades para expresar naturalmente la confianza en su calidad de clasificación, el entrenamiento supervisado puede enseñarles a hacerlo de manera efectiva. Las direcciones de trabajo futuro identificadas incluyen el modelado de relevancia de múltiples niveles, la mejora de la QPP interna del reordenador no supervisada y la exploración de si el razonamiento de largo alcance beneficia aún más a estos modelos.