Resumen Técnico: ProjAgent: Recuperación de Similitud Procedural para la Generación de Código a Nivel de Repositorio

Declaración del Problema

La generación de código a nivel de repositorio requiere que los Modelos de Lenguaje de Gran Escala (LLMs) implementen funciones objetivo mientras navegan por complejas dependencias entre archivos, convenciones específicas del proyecto y utilidades distribuidas. Los enfoques actuales de generación aumentada por recuperación (RAG) para esta tarea dependen predominantemente de la similitud léxica (p. ej., BM25) o semántica (p. ej., embeddings densos).

Los autores identifican una limitación crítica en estos métodos: a menudo fallan al recuperar funciones del repositorio que implementan una lógica procedural similar pero que difieren significamente en nomenclatura, tipos de datos o dominios de aplicación. Por ejemplo, una función que valida las formas de entrada en un módulo de cosmología puede ser proceduralmente idéntica a una función que valida entradas de temperatura en un módulo de física, pero las métricas de similitud superficial (léxica o semántica) no logran vincularlas. Este "vacío procedural" provoca que los LLMs alucinen APIs o generen código que viola las convenciones del proyecto porque los patrones lógicos necesarios faltan en el contexto recuperado.

Metodología: ProjAgent

El artículo propone ProjAgent, un sistema de generación de código a nivel de repositorio que introduce la similitud procedural como una señal de recuperación explícita, integrada dentro de un flujo de trabajo agéntico y un bucle de retroalimentación de análisis estático.

1. Representación de la Similitud Procedural

Para capturar el comportamiento de la implementación más allá del texto superficial, ProjAgent utiliza proyecciones de subespacio de razonamiento derivadas de los estados ocultos del LLM.

• Descomposición de Subespacios: Basándose en Hu et al. [14], el sistema descompone el espacio de estados ocultos del LLM en un subespacio semántico (expresión lingüística) y un subespacio de razonamiento (lógica interna). Esto se logra mediante la Descomposición de Valores Singulares (SVD) en la capa de desembedding.
• Proyección: Los estados ocultos de los pasos de código se proyectan en el subespacio de razonamiento para aislar la lógica procedural.
• Eliminación de Sesgo (Debiasing): Para abordar el fenómeno de la anisotropía (donde los vectores se agrupan en una dirección común independientemente del contenido), los autores introducen un paso de eliminación de sesgo basado en el Análisis de Componentes Principales (PCA). Esto elimina la dirección compartida dominante y el centrado de la media, mejorando significativamente el poder discriminativo de la similitud de coseno para el emparejamiento procedural.

2. El Flujo de Trabajo de Recuperación Agéntico

ProjAgent emplea un proceso de recuperación de múltiples etapas para construir un contexto rico para la función objetivo:

• Preprocesamiento Offline: El repositorio se preprocesa para descomponer las funciones de contexto en pasos lógicos (p. ej., validación de entrada, transformación de estado). Cada paso se valida contra el código original y se proyecta en el subespacio de razonamiento.
• Recuperación Procedural (Agéntica):
  • Búsqueda de Semillas (Seed Finding): La función objetivo se descompone en pasos. Se identifica un conjunto inicial de pasos de contexto proceduralmente similares mediante similitud de proyección.
  • Exploración Agéntica: Un agente de LLM navega por el repositorio utilizando herramientas (p. ej., read_func, search_func) para descubrir nuevas funciones que puedan contener pasos proceduralmente similares, expandiendo iterativamente el conjunto de semillas.
  • Expansión y Verificación de Semillas: El sistema expande la búsqueda a funciones no procesadas utilizando umbrales de similitud de proyección. Un paso de verificación (basado en LLM) filtra los falsos positivos, particularmente para operaciones genéricas, asegurando coincidencias procedurales de alta calidad.
• Recuperación Semántica: Para complementar la lógica procedural, el sistema recupera símbolos semánticamente relacionados (APIs, clases, constantes) utilizando un híbrido de puntuaciones léxicas (BM25) y semánticas (embedding denso). Esto asegura que el LLM tenga acceso a las entidades específicas del repositorio necesarias para implementar la lógica recuperada.
• Generación de Código y Retroalimentación: El LLM genera código utilizando el contexto procedural y semántico combinado. Un bucle de retroalimentación de análisis estático conservador refina iterativamente el código. Realiza comprobaciones de sintaxis basadas en AST y comprobaciones de consistencia semántica (llamadas a métodos, acceso a campos, resolución de variables), devolviendo los errores al LLM para su reparación.

Contribuciones Clave

1. La Similitud Procedural como una Dimensión de Recuperación: El artículo introduce la similitud procedural como una señal de recuperación distinta y efectiva, abordando el vacío donde las funciones comparten patrones lógicos pero carecen de superposición léxica o semántica.
2. Proyecciones de Subespacio de Razonamiento: Los autores aprovechan las proyecciones de los estados ocultos del LLM para representar la lógica procedural, permitiendo la recuperación de funciones relacionadas a través de diferentes convenciones de nomenclatura y dominios.
3. Sistema ProjAgent: Un sistema completo que integra un flujo de trabajo agéntico para el descubrimiento de contexto procedural, recuperación híbrida (procedural + semántica) y un bucle de retroalimentación de análisis estático para la reparación iterativa de código.
4. Evaluación Exhaustiva: Una evaluación rigurosa en el benchmark REPOCOD, incluyendo estudios de ablación y análisis de las contribuciones de los componentes de recuperación.

Resultados

Evaluado en el benchmark REPOCOD (980 problemas en 11 repositorios) utilizando el modelo Qwen2.5-Coder-14B-Instruct:

• Rendimiento: ProjAgent logró un Pass@1 de 41.14%, superando las líneas base existentes:
  • SpecAgent (SOTA): 34.52%
  • Recuperación Densa: 28.83%
  • Recuperación Dispersa (Sparse): 26.58%
  • Recuperación en el Mismo Archivo: 14.98%
• Estudios de Ablación:
  • Eliminar la recuperación procedural causó la mayor caída de rendimiento (41.14% $\to$ 25.76%), resaltando su papel crítico en la provisión de guía de implementación.
  • Eliminar la recuperación semántica también degradó significativamente el rendimiento (41.14% $\to$ 32.29%), confirmando la necesidad de símbolos específicos del repositorio.
  • Eliminar el bucle de retroalimentación resultó en una disminución modesta (41.14% $\to$ 40.29%), atribuido a la naturaleza conservadora del análisis estático.
• Efectividad de la Recuperación: Se encontró que el método de similitud de proyección es altamente efectivo para filtrar contextos disímiles (alta precisión en el grupo "sobrante") pero requiere un diseño de dos etapas (proyección + verificación) para manejar los falsos positivos en el grupo "promovido".

Significancia y Reivindicaciones

El artículo afirma que la similitud procedural es una dimensión de recuperación efectiva y previamente inexplorada para la generación de código a nivel de repositorio. Los autores argumentan que la generación de código exitosa depende no solo de recuperar código semánticamente relevante, sino también de recuperar contexto que comparta los mismos procedimientos computacionales subyacentes.

Al integrar la similitud procedural con las señales léxicas y semánticas convencionales, ProjAgent demuestra que los LLM pueden ser guiados para implementar lógica compleja incluso cuando el código fuente difiere significativamente en dominio o vocabulario. El trabajo sugiere un cambio hacia métodos de recuperación conscientes del comportamiento en la ingeniería de software, yendo más allá de la coincidencia de texto superficial para capturar la intención funcional del código. Los autores mantienen la modestia respecto a la validez externa, señalando que los resultados son específicos para repositorios Python y el modelo de base utilizado, y que la cobertura de búsqueda sigue siendo un cuello de botella para futuras mejoras.