Resumen Técnico: Agent Retrieval Bench

Definición del Problema

Los agentes de codificación modernos se evalúan típicamente de extremo a extremo basándose en si generan un parche correcto. Sin embargo, la generación de parches depende de una etapa de adquisición de contexto ascendente: el agente debe primero identificar y recuperar los archivos específicos del repositorio necesarios para razonar sobre una tarea. Los autores argumentan que las evaluaciones actuales oscurecen esta capa crítica. A diferencia de la búsqueda semántica de código tradicional, donde la relevancia se define por la similitud entre consulta y documento, la relevancia agéntica se define por el "siguiente paso útil" en un flujo de trabajo de software. Esta relevancia es a menudo indirecta, estructural o dependiente del flujo de trabajo (por ejemplo, un pull request que describe un cambio de implementación puede requerir un archivo de prueba de regresión, no el archivo de la implementación en sí).

La exploración interactiva permite a los agentes compensar un contexto inicial débil mediante llamadas a herramientas adicionales, pero esto aumenta el costo y la latencia. Además, las trayectorias registradas muestran que incluso los agentes interactivos fallan en tocar cualquier archivo "gold" (necesario) en el 27–35% de los casos. El artículo postula que se necesita el Agent Retrieval Bench para aislar y evaluar este problema de recuperación ascendente bajo restricciones realistas, distinto del resultado final de la generación del parche.

Metodología

Construcción del Benchmark

Agent Retrieval Bench es un benchmark de recuperación de archivos a nivel de código construido a partir de 427 muestras en 25 repositorios (que abarcan Python, Go, Rust, TypeScript, Java y JavaScript).

• Corpus Congelado: Todas las muestras se evalúan contra un estado de repositorio congelado en un commit base (pre-resolución), evitando la filtración de commits de corrección o parches finales.
• Fuentes de Consulta: Las consultas se derivan de señales reales de flujo de trabajo: títulos/cuerpos de PR, comentarios de revisión, trazas de reproducción de fallos y ediciones ancladas.
• Controles de Filtración (Leakage): El conjunto de datos elimina rigurosamente atajos fatales, incluyendo rutas gold exactas, diffs crudos, hashes de commit de corrección y artefactos de revisión generados por modelos.

Definiciones de Tarea

El benchmark define cinco escenarios de recuperación distintos:

1. code2test (106 muestras): Dado un PR o un cambio de implementación, recuperar archivos de prueba relacionados.
2. comment2context (80 muestras): Dado un comentario de revisión y el archivo revisado, recuperar archivos de contexto adicionales necesarios para satisfacer el comentario.
3. trace2code (101 muestras): Dado un comando de reproducción de fallo y su salida, recuperar el archivo fuente de la causa raíz (las pruebas son auxiliares, no gold).
4. edit2ripple (58 muestras): Dado un edit anclado y la intención del cambio, recuperar archivos adicionales afectados por el cambio (archivos de onda expansiva o "ripple files").
5. Recuperación Selectiva (82 muestras):
   • Natural No-Gold (50): Problemas donde la resolución se encuentra fuera del repositorio (por ejemplo, dependencias upstream).
   • Controles Contrafácticos (32): Consultas emparejadas con un repositorio que no puede contener la respuesta.

Métricas de Evaluación

• Métricas de Clasificación (Ranking): Recall@k (5, 10, 20), Mean Reciprocal Rank (MRR).
• Métricas de Presupuesto de Contexto: Budgeted Context Yield (BCY@B), que mide cuánto contexto etiquetado como gold cabe dentro de un presupuesto fijo de tokens (por ejemplo, 8k tokens) tras el ranking y el empaquetado codicioso (greedy packing).
• Métricas Selectivas: Precisión balanceada y éxito selectivo para tareas de abstención.
• Análisis de Trayectoria: Las trayectorias de los agentes registradas se analizan para determinar las tasas de "toque de gold" (gold-touch), pasos de primer impacto (first-hit steps) y Ahorro de Exploración Potencial (PES).
• Intervención de Semilla (Seed Intervention): Un piloto controlado (45 muestras) donde los agentes son sembrados con diferentes contextos iniciales (aleatorio, léxico, de embedding, híbrido, oracle) para medir el impacto en la eficiencia de la adquisición de contexto.

Contribuciones Clave

1. Formalización de la Relevancia Agéntica: El artículo define la relevancia agéntica no como similitud semántica, sino como el "siguiente contexto de repositorio necesario", operacionalizado a través de cuatro tareas positivas y abstención selectiva.
2. Conjunto de Datos con Control de Filtración: Un conjunto validado de 427 muestras con esquemas estrictos, cero filtración de atajos fatales y etiquetas gold respaldadas por evidencia derivada de artefactos de flujo de trabajo.
3. Suite de Evaluación Orientada a Agentes: Una suite integral que incluye métricas de archivos clasificados, curvas de BCY de presupuesto de tokens, abstención selectiva y un piloto de intervención de semilla de entrada controlada.
4. Hallazgos Empíricos sobre Familias de Recuperación: Evidencia de que ninguna familia de recuperación domina por sí sola a través de todas las señales de flujo de trabajo o presupuestos de contexto.

Resultados

Rendimiento de la Línea Base (Baseline)

El benchmark evaluó líneas base léxicas (BM25, léxico consciente de ruta), sin vectores (RepoMap) y basadas en embeddings (Qwen3-4B, Qwen3-8B, Jina, Nomic, pplx).

• Líderes Generales: Qwen3-Embedding-4B logró el mejor MRR ponderado por muestra (0.2379), mientras que Qwen3-Embedding-8B logró el mejor Recall@20 (0.7029). RepoMap lideró en BCY@8k (0.3788).
• Ganadores por Tarea: El rendimiento varía drásticamente según la tarea.
  • trace2code: RepoMap superó significativamente a los embeddings (MRR 0.2742 frente a 0.0827 para Qwen3-4B), demostrando que la proximidad estructural es crucial para la localización de la causa raíz desde trazas de fallo.
  • edit2ripple: Se observó una reversión dependiente del presupuesto; Qwen3-4B lideró a 4k tokens, mientras que Qwen3-8B lideró a 8k tokens.
• Enfoque Híbrido: Una simple Fusión de Clasificación Recíproca (RRF) de Qwen3-8B y RepoMap mejoró el MRR general a 0.2713 y el Recall@20 a 0.7331, confirmando la complementariedad de las señales semánticas y estructurales.

Recuperación Selectiva y Abstención

• Brecha de Calibración: Aunque las puntuaciones de recuperación bruta podían distinguir los controles contrafácticos de repositorios incorrectos, no lograron mejorar el éxito selectivo en los casos naturales de no-gold. Los umbrales que maximizaban la precisión balanceada a menudo rechazaban demasiadas muestras positivas, lo que indica que las puntuaciones actuales son insuficientes para distinguir problemas locales plausibles de resoluciones genuinamente externas.

Trayectorias de Agentes e Intervención de Semilla

• Tasas de Fallo: Incluso con exploración interactiva, los agentes registrados fallaron en tocar cualquier archivo gold en el 35.2% de las muestras de OpenAI y en el 27–29% de las muestras de Codex.
• Eficiencia de la Semilla: En la intervención de semilla de herramienta cerrada, las semillas derivadas de recuperación (léxica, RFF) lograron un F1 de Archivo más alto y un contacto de gold más temprano con menos llamadas a herramientas y tokens post-semilla en comparación con las semillas aleatorias sin gold.
• Margen del Oracle (Oracle Headroom): El contexto gold de tipo Oracle mejoró el F1 de Archivo en 0.3115 respecto a la línea base sin semilla, lo que sugiere un margen sustancial restante para la localización incluso cuando se proporciona el archivo correcto.

Sensibilidad de Granularidad

• Archivo vs. Segmento (Span): Aunque la recuperación a nivel de archivo es la métrica principal, el artículo señala que los archivos gold son grandes (mediana de 515 líneas) y la evidencia etiquetada suele ocupar solo ~4.7% del archivo. Los aciertos a nivel de archivo no garantizan una localización precisa dentro del archivo, y las puntuaciones F1 a nivel de línea siguen siendo bajas en todos los métodos.

Significado y Reivindicaciones

El artículo afirma que Agent Retrieval Bench proporciona una semántica de evaluación unificada y un estándar de higiene para la capa de adquisición de contexto de los agentes de codificación. Su principal significado radica en:

1. Aislamiento del Fallo Ascendente: Demuestra que el fallo del parche puede diagnosticarse en la etapa de recuperación, separada de las capacidades de razonamiento o edición.
2. Desafío al "Talla Única": Los resultados muestran que los embeddings semánticos, el emparejamiento léxico y los grafos estructurales son complementarios, no intercambiables. Un único recuperador no puede dominar todas las señales de flujo de trabajo.
3. Necesidad de un Enfoque Híbrido: El artículo concluye que la recuperación efectiva para agentes de codificación debe ser híbrida y consciente de la tarea, combinando vectores semánticos, señales léxicas/de ruta y grafos de repositorio.
4. Utilidad Diagnóstica: El benchmark sirve como una herramienta diagnóstica para medir la eficiencia de la adquisición de contexto (CAE) e identificar brechas de calibración en la recuperación selectiva, en lugar de pretender predecir directamente el éxito del parche de extremo a extremo.

Los autores declaran explícitamente que no pretenden que la recuperación sea la única causa del fallo del parche ni que el F1 de Archivo sustituya a la reparación que pasa las pruebas. En cambio, el benchmark establece la adquisición de contexto como una superficie de fallo y un centro de costos medible y distinto en el flujo de trabajo agéntico.