Beyond Code Snippets: Benchmarking LLMs on Repository-Level Question Answering

Resumen Técnico: Beyond Code Snippets

1. El Problema

La comprensión de programas es una tarea crítica y consumidora de tiempo en el desarrollo de software, donde los desarrolladores a menudo recurren a preguntas en plataformas comunitarias como Stack Overflow. Aunque los Modelos de Lenguaje Grande (LLMs) han demostrado capacidades prometedoras en tareas de ingeniería de software, la mayoría de las evaluaciones y benchmarks actuales se centran en fragmentos de código aislados (funciones individuales o archivos únicos).

Este enfoque limitado ignora los desafíos del mundo real, donde la comprensión del programa a menudo requiere navegar por múltiples archivos, dependencias sistémicas y relaciones estructurales complejas. Además, las estrategias actuales de Generación Aumentada por Recuperación (RAG) suelen basarse en similitud textual plana, lo cual es insuficiente para capturar las relaciones semánticas y estructurales inherentes al código (como llamadas a funciones, jerarquías de clases y flujos de datos). Existe una necesidad urgente de evaluar si los LLMs pueden razonar genuinamente sobre repositorios completos o si sus éxitos se deben simplemente a la memorización de datos de entrenamiento.

2. Metodología

Los autores presentan StackRepoQA, el primer conjunto de datos de preguntas y respuestas a nivel de repositorio, y diseñan un marco experimental riguroso para evaluar dos LLMs líderes: Claude 3.5 Sonnet y GPT-4o.

• Construcción del Dataset (StackRepoQA):

  • Se recopilaron 1,318 preguntas reales de desarrolladores con respuestas aceptadas de Stack Overflow.
  • Estas preguntas se mapearon a 134 proyectos de código abierto en Java (activos y mantenidos) alojados en GitHub.
  • Se aplicaron filtros estrictos para asegurar la calidad de los repositorios (número de contribuyentes, estrellas, commits, tamaño) y se eliminaron ambigüedades en el mapeo.
  • El dataset incluye una distinción temporal crucial: preguntas publicadas antes y después de la fecha de corte (cutoff) del entrenamiento de los modelos, permitiendo separar la memorización del razonamiento.

• Configuración Experimental:

  • Configuración Baseline: Los LLMs respondieron directamente sin acceso externo.
  • Configuración Agente (RAG): Se implementó un sistema multi-agente utilizando el framework AutoGen.
    • Agente File-RAG: Recupera fragmentos de código basados en similitud semántica (vectorial) de archivos locales.
    • Agente Graph-RAG: Consulta una base de datos Neo4j construida a partir del Árbol de Sintaxis Abstracta (AST) y relaciones de dependencia estáticas del repositorio. Utiliza consultas Cypher para recuperar subgrafos estructurales.
    • Agente Supervisor y Summarizer: Coordinan el flujo y sintetizan la respuesta final.
  • Evaluación: Se utilizó el enfoque "LLM-as-a-Judge" (dos modelos evaluando las respuestas) con una rúbrica de 1 a 10, validada contra evaluadores humanos para asegurar consistencia. Se realizaron pruebas estadísticas no paramétricas (Wilcoxon, Cliff's delta) y análisis de correlación.

3. Contribuciones Clave

1. StackRepoQA: El primer dataset público, multi-proyecto y consciente de la fecha de corte (cutoff-aware) para preguntas y respuestas a nivel de repositorio. Contiene 1,318 pares de preguntas/respuestas mapeados a 134 repositorios Java.
2. Evaluación Sistemática: Comparación exhaustiva de LLMs bajo configuraciones de prompting directo y agentes RAG (archivo vs. gráfico).
3. Estudio de Ablación: Demostración de que la recuperación basada en grafos supera a la basada en archivos y análisis cuantitativo del efecto de memorización mediante preguntas pre y post-corte.
4. Insights sobre Memorización: Evidencia empírica de que los altos puntajes en benchmarks de QA a menudo se deben a la reproducción literal de respuestas de Stack Overflow vistas durante el entrenamiento, en lugar de un razonamiento genuino sobre el código fuente.

4. Resultados Principales

• Precisión Baseline (Sin Aumento): Los LLMs alcanzaron una precisión moderada (alrededor del 58-69% en puntuación promedio). Sin embargo, hubo una caída significativa en el rendimiento para preguntas publicadas después de la fecha de corte del entrenamiento (Claude: de 6.59 a 5.44; GPT-4o: de 6.97 a 5.97). Esto confirma que gran parte del éxito se debe a la memorización de datos públicos.
• Impacto del RAG:
  • El RAG mejoró el rendimiento, pero los resultados siguen siendo modestos para preguntas no vistas.
  • Graph-RAG vs. File-RAG: La recuperación basada en grafos estructurales (Graph-RAG) superó consistentemente a la recuperación basada en archivos (File-RAG).
    • Puntuación con Graph-RAG: 6.12
    • Puntuación con File-RAG: 5.66
  • Esto demuestra que las relaciones estructurales (herencia, llamadas entre archivos) son críticas para la comprensión a nivel de repositorio.
• Efecto de Distracción: La introducción de contexto irrelevante (preguntas no relacionadas con el repositorio) degradó el rendimiento, confirmando la vulnerabilidad de los LLMs al "ruido" en la recuperación.
• Memorización vs. Razonamiento: El análisis de casos específicos mostró que los modelos a menudo reproducían respuestas de Stack Overflow verbatim. Cuando se les instruyó explícitamente a ignorar su conocimiento interno y basarse solo en el código recuperado, el rendimiento colapsó, revelando la fragilidad de su razonamiento sobre código nuevo.

5. Significado e Implicaciones

• Para la Investigación: El estudio establece que los benchmarks actuales de QA de código pueden estar sobreestimando las capacidades de los LLMs al no controlar la memorización. Se propone el uso de divisiones basadas en fechas de corte y evaluaciones en repositorios no vistos como estándar para futuras investigaciones.
• Para la Práctica:
  • Los LLMs no deben utilizarse como soluciones autónomas para la comprensión de proyectos privados o en rápida evolución, ya que carecen de razonamiento profundo sin mecanismos de recuperación estructurada.
  • La recuperación basada en grafos es un componente esencial para sistemas de ingeniería de software asistidos por IA, ya que permite a los modelos navegar las dependencias complejas que la similitud textual no puede capturar.
• Futuro: Se destaca la necesidad de desarrollar estrategias de filtrado adaptativo para mitigar el ruido en la recuperación y explorar representaciones no textuales (diagramas, gráficos de llamadas) para mejorar la comprensión a escala de repositorio.

En conclusión, el trabajo demuestra que, aunque los LLMs tienen potencial, su capacidad actual para la comprensión de programas a nivel de repositorio es limitada y está fuertemente influenciada por la memorización. La integración de estructuras de conocimiento (grafos) y protocolos de evaluación rigurosos son pasos necesarios hacia sistemas de IA más fiables para el desarrollo de software.