Rethinking On-policy Optimization for Query Augmentation

A continuación presento un resumen técnico detallado del artículo "Rethinking On-policy Optimization for Query Augmentation" en español, estructurado según los puntos solicitados.

1. El Problema

En muchos escenarios de recuperación de información (IR) del mundo real, no es posible modificar el recuperador (retriever) directamente, especialmente cuando se dependen de servicios basados en API (como los de OpenAI) o sistemas propietarios. Por lo tanto, la mejora en la efectividad de la recuperación debe provenir de la optimización de la consulta (query).

Existen dos enfoques principales para la augmentación de consultas utilizando Grandes Modelos de Lenguaje (LLMs):

1. Enfoque basado en Prompting (Zero-shot): Modelos como HyDE o Query2Doc generan documentos pseudo o respuestas hipotéticas para expandir la consulta sin entrenamiento adicional. Son flexibles pero a veces generan términos espurios que perjudican el rendimiento, especialmente en recuperadores dispersos (sparse).
2. Enfoque basado en Aprendizaje por Refuerzo (RL): Se utiliza optimización on-policy (como PPO) para ajustar finamente un modelo que reescribe la consulta, optimizando directamente métricas de recuperación (NDCG, Recall). Aunque prometedor, es intensivo en recursos computacionales y depende de datos etiquetados para las recompensas.

La brecha: No existía una comparación sistemática y controlada bajo condiciones de cómputo equitativas entre estos dos paradigmas. No estaba claro cuándo la generación de documentos pseudo sin entrenamiento supera a los métodos costosos de RL, ni cómo combinar lo mejor de ambos.

2. Metodología

Los autores realizaron una comparación empírica rigurosa y controlada entre:

• SPQE (Simple Pseudo-document Query Expansion): Un método de prompting zero-shot donde un LLM genera un documento hipotético ($d_H$) que se concatena con la consulta original ($q, d_H$) para la recuperación.
• DeepRetrieval (RL): Un enfoque de RL on-policy (PPO) donde el modelo aprende a reescribir la consulta directamente ($q \to q'$), generando pasos de razonamiento intermedios antes de la consulta final.

Configuración Experimental:

• Recuperadores: Se evaluaron tanto recuperadores dispersos (BM25) como densos (E5-base-v2, Contriever).
• Tareas: Recuperación de evidencia (NQ, TriviaQA, SQuAD), recuperación ad hoc (FEVER, HotpotQA, etc.) y recuperación de herramientas (ToolRet).
• Control de Cómputo: Para hacer la comparación justa, los autores asignaron más recursos de inferencia al método de prompting (usando modelos LLM más grandes, como GPT-4o-mini o Qwen3-32B) para igualar el costo computacional total del entrenamiento de RL (que usa modelos base más pequeños, 3B/7B, pero con alto costo de entrenamiento).

Propuesta Nueva: OPQE (On-policy Pseudo-document Query Expansion)
Motivados por los resultados, los autores proponen un método híbrido:

• En lugar de entrenar al agente de RL para reescribir la consulta, se entrena para generar un documento pseudo ($d_H$) bajo recompensas basadas en la recuperación.
• La consulta final sigue siendo la concatenación $(q, d_H)$.
• Esto fusiona la estructura generativa y el conocimiento interno del LLM (del prompting) con la optimización dirigida de RL.

3. Contribuciones Clave

1. Comparación Sistemática: Realizan la primera evaluación controlada que demuestra que, bajo un presupuesto de cómputo consciente, los métodos de prompting simples y sin entrenamiento a menudo igualan o superan a los métodos de RL más complejos y costosos.
2. Descubrimiento de la Eficiencia del Prompting: Se revela que aprovechar el conocimiento estructurado de LLMs potentes mediante la generación de documentos pseudo es una línea base robusta y eficiente en recursos, superando a menudo a políticas de RL entrenadas en tareas de recuperación densa.
3. Propuesta de OPQE: Introducen un método híbrido que aplica optimización on-policy a la generación de documentos pseudo en lugar de a la reescritura directa de la consulta. Este método logra el mejor rendimiento global al combinar la flexibilidad del prompting con la optimización específica de RL.

4. Resultados Principales

• Rendimiento General: En la mayoría de las configuraciones, especialmente con recuperadores densos, el método de prompting (SPQE) con modelos grandes superó o igualó a las políticas de RL (DR-3B y DR-7B). En la puntuación Borda agregada, SPQE ocupó el primer lugar, mientras que los métodos de RL quedaron en posiciones inferiores (4º y 5º).
• Dependencia del Recuperador:
  • Recuperadores Dispersos (BM25): El RL mostró mejoras consistentes al optimizar términos específicos, pero SPQE siguió siendo muy competitivo.
  • Recuperadores Densos: El RL a veces degradó el rendimiento o mostró mejoras marginales en comparación con SPQE. El RL tiende a generar consultas enfocadas en palabras clave que no siempre se alinean bien con las representaciones semánticas densas.
• Recuperación de Herramientas (Tool Retrieval): El RL mejoró significativamente la métrica Completeness en recuperadores dispersos, pero falló en recuperadores densos. SPQE fue robusto en ambos casos.
• OPQE (El Método Híbrido):
  • Logró el mejor rendimiento global en todas las categorías.
  • En recuperación densa ad hoc, OPQE-7B alcanzó un puntaje promedio de 58.1, superando a DR-7B (57.5) y SPQE (56.6).
  • En recuperación de evidencia, OPQE-3B superó a otros métodos con un promedio de 80.2.
• Análisis de Entrenamiento: Las curvas de recompensa mostraron que OPQE comienza con una ventaja significativa ("warm start") gracias al conocimiento del LLM en el prompting, y luego el RL refina esta generación, logrando trayectorias de recompensa más estables y altas que el RL directo.

5. Significado e Implicaciones

• Reevaluación del Costo-Beneficio: El trabajo desafía la noción de que el RL es siempre superior para la optimización de consultas. Demuestra que, en muchos casos, el costo de entrenar un modelo de RL no justifica la ganancia marginal sobre un prompting bien diseñado con un LLM potente.
• Nueva Dirección para la Optimización: Sugiere que la formulación de la tarea en RL es crucial. Cambiar el objetivo de "reescribir la consulta" a "generar un documento pseudo" permite aprovechar mejor la arquitectura de los LLMs y la naturaleza de los recuperadores modernos.
• Aplicabilidad Práctica:
  • Zero-shot: SPQE es una solución inmediata y escalable para sistemas donde no se puede entrenar un modelo nuevo (ej. APIs cerradas).
  • Híbrido: OPQE ofrece un camino para sistemas que pueden permitirse el entrenamiento, maximizando el rendimiento sin sacrificar la calidad semántica.
• Limitaciones: El estudio se centra en PPO y políticas ligeras (<7B) debido a restricciones de cómputo. Además, los métodos de RL requieren reentrenamiento por dominio, mientras que el prompting es universal.

En conclusión, el artículo establece que la combinación de la estructura generativa del prompting con la optimización dirigida del RL (OPQE) representa el estado del arte actual para la augmentación de consultas, superando a los enfoques puros de uno u otro tipo.