Unseen-Codebases-Domain Data Synthesis and Training Based on Code Graphs

Resumen Técnico: UCD-Training

1. El Problema: La Brecha en los Códigos No Vistos

Los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades excepcionales en tareas de ingeniería de software, pero su rendimiento cae drásticamente al enfrentarse a códigos no vistos (unseen codebases). Estos incluyen:

• Librerías recién lanzadas.
• Frameworks específicos de un dominio.
• Sistemas empresariales propietarios o componentes de terceros privados.

Limitaciones de las soluciones actuales:

• Falta de conocimiento: Los LLMs no han sido expuestos a estos entornos durante su pre-entrenamiento, lo que genera altas tasas de alucinación y un mal uso de componentes.
• Ineficacia de RAG (Generación Aumentada por Recuperación): Aunque técnicas como RAG pueden mitigar alucinaciones superficiales al recuperar código relevante, no permiten que el modelo comprenda las relaciones intrínsecas, los patrones de uso latente ni la composición correcta de componentes entre diferentes archivos.
• Escasez de datos de entrenamiento: A diferencia de los dominios públicos (como GitHub), los códigos no vistos suelen tener solo el código fuente disponible, careciendo de ejemplos de uso de alta calidad que sirvan como datos de entrenamiento directos. Los métodos de síntesis de datos existentes dependen de patrones de uso observables que no existen en estos casos.

2. Metodología: UCD-Training

Los autores proponen UCD-Training, un marco de entrenamiento de dos etapas diseñado para inyectar conocimiento específico del dominio utilizando únicamente el código fuente. El núcleo de la metodología es la construcción de un Grafo de Código y la síntesis de datos consciente del razonamiento.

Fase 1: Construcción del Grafo de Código

• Se realiza un análisis estático del código fuente para extraer entidades (archivos, clases, funciones, métodos, variables globales) como nodos.
• Se mapean las relaciones (dependencias, llamadas, inclusiones) como aristas, creando un grafo estructurado que captura la arquitectura y las dependencias del proyecto.

Fase 2: Entrenamiento Continuo (CPT) con Preservación de Dependencias

• Objetivo: Que el modelo memorice la estructura y las dependencias del código.
• Proceso: Se extrae un subgrafo dirigido acíclico de las dependencias a nivel de archivo. Mediante un recorrido en profundidad (DFS) desde nodos con grado de entrada cero, se concatenan los archivos en un orden que garantiza que los archivos con dependencias directas aparezcan juntos en la misma secuencia de entrenamiento.
• Resultado: Se crea un corpus de pre-entrenamiento que preserva las relaciones de dependencia, evitando que los archivos relacionados se separen por límites de ventana de contexto.

Fase 3: Ajuste Fino Supervisado (SFT) Basado en el Grafo
Se sintetizan tres tipos de datos de entrenamiento, todos enriquecidos con trazas de razonamiento explícitas (explicaciones paso a paso):

1. Datos de Razonamiento de Relación de un Solo Salto (Single-hop): Derivados de las aristas del grafo para entender relaciones finas entre entidades (ej. "la función A llama a la función B"). Se generan tanto ejemplos positivos como negativos para robustez.
2. Datos de Razonamiento de API Composicional: Se sintetizan preguntas de examen basadas en combinaciones de APIs extraídas de los casos de prueba internos del proyecto. Esto fuerza al modelo a aprender cómo combinar múltiples APIs para resolver escenarios funcionales reales, en lugar de usar llamadas aisladas.
3. Datos de Utilización del Códigobase: Transformación de los casos de prueba internos en tareas de generación de funciones. Se descompone el código de prueba para extraer la implementación funcional y las aserciones, generando tareas que requieren entender el flujo completo de la aplicación.

Filtrado y Validación:
Se emplea un mecanismo de filtrado de dos etapas (basado en reglas y en LLM) para asegurar la consistencia semántica, la corrección sintáctica y la validez de las trazas de razonamiento antes de su uso en el entrenamiento.

3. Contribuciones Clave

1. UCD-Training: Un marco innovador que inyecta conocimiento de repositorios no vistos mediante síntesis de datos basada en grafos, superando la limitación de la falta de datos de uso reales.
2. UnseenCodeBench: Un nuevo benchmark estandarizado para evaluar la generación de código en dominios no vistos, cubriendo dos lenguajes principales (C++ y Python) y múltiples proyectos empresariales recientes.
3. Estrategia de Razonamiento: La introducción de trazas de razonamiento de nivel de verdad fundamental (ground-truth) en los datos sintetizados, lo que mejora significativamente la capacidad de inferencia del modelo.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples modelos (Qwen, DeepSeek, etc.) y escalas (de 8B a 480B parámetros), comparando con baselines como RAG, OSS-Instruct y COTTON.

• Rendimiento Superior: UCD-Training supera consistentemente a los métodos basados en RAG y a otras técnicas de síntesis de datos.
  • Logró una mejora absoluta del 25.5% sobre RAG (usando GPT-5.1) en el benchmark.
  • En el benchmark general, las mejoras oscilaron entre 7.2% y 26.1% en la métrica pass@1.
• Escalabilidad: El método es efectivo en modelos de diferentes tamaños (8B, 14B, 32B) y tipos (LLMs generales y especializados en código).
• Escenarios Empresariales Reales: En simulaciones donde un único modelo debe adaptarse a múltiples lenguajes y códigos simultáneamente, UCD-Training alcanzó un 36.0% de pass@1, superando a todos los baselines por un margen de 4.7% a 23.6%.
• Estudio de Ablación: Se demostró que los datos de razonamiento de API composicional son el componente más crítico; su eliminación provocó una caída de rendimiento de hasta un 29.7%.

5. Significado e Impacto

Este trabajo aborda un desafío crítico en la adopción industrial de la IA: la capacidad de los modelos para trabajar con software nuevo y privado sin necesidad de re-entrenamiento masivo o acceso a datos de uso externos.

• Cambio de Paradigma: Demuestra que el entrenamiento post-entrenamiento (post-training) basado en la estructura del código (grafos) es superior a la simple recuperación de información en tiempo de inferencia (RAG) para tareas complejas de composición de código.
• Viabilidad Industrial: Ofrece una solución práctica para empresas que utilizan frameworks propietarios o desarrollan software interno, permitiendo que los LLMs aprendan rápidamente la arquitectura y las convenciones de un nuevo códigobase solo con su fuente.
• Calidad de Datos: Establece un nuevo estándar en la síntesis de datos para código, mostrando que es posible generar datos de alta calidad y trazas de razonamiento robustas incluso cuando solo se dispone del código fuente implementado.

En conclusión, UCD-Training proporciona una vía efectiva y escalable para adaptar los LLMs a dominios de código no vistos, cerrando la brecha entre el conocimiento general del modelo y las necesidades específicas de la ingeniería de software empresarial.