ATLAS: Multi-View Code Representation Tool for C and C++ Source Programs

Resumen Técnico: ATLAS – Herramienta de Representación de Código Multi-Vista para C y C++

Planteamiento del Problema
El aprendizaje automático para la ingeniería de software (ML4SE) depende cada vez más de grafos de código multi-vista que alinean Árboles de Sintaxis Abstracta (AST), Grafos de Flujo de Control (CFG) y Grafos de Flujo de Datos (DFG) para capturar la estructura sintáctica, las rutas de ejecución y las dependencias de variables. Si bien modelos como GraphCodeBERT y CodeSAM demuestran que las vistas estructurales superan a las bases de referencia basadas en texto, existe una brecha significativa para C y C++: ninguna herramienta existente puede generar estas vistas alineadas y a nivel de fuente sin un entorno de compilación completo.

Las herramientas actuales enfrentan limitaciones específicas:

• Los marcos basados en compiladores (por ejemplo, SVF, PhASAR) requieren una compilación resuelta y operan sobre Representaciones Intermedias (IR) que descartan los nombres de variables y el contexto estructural a nivel de fuente.
• Los analizadores basados en consultas (por ejemplo, CodeQL, Clang Static Analyzer) también requieren una compilación completa.
• Los analizadores solo de fuente (por ejemplo, Joern, Tree-sitter) carecen de análisis interprocedimental, no pueden generar flujo de control o de datos, o no pueden manejar las complejidades semánticas específicas de C/C++ (como el aliasing de punteros, la gestión manual de memoria y la ausencia de Información de Tipo en Tiempo de Ejecución).
• Las herramientas multi-vista existentes (por ejemplo, COMEX) suelen estar restringidas a lenguajes con gestión de memoria y dependen de suposiciones que no se cumplen para C/C++.

En consecuencia, los profesionales deben combinar múltiples herramientas de un solo propósito para obtener vistas alineadas, y muchas de las herramientas existentes fallan cuando se presentan con entradas parciales, como submódulos con encabezados faltantes.

Metodología: El Pipeline de ATLAS
ATLAS es una herramienta de línea de comandos diseñada para extraer AST, CFG interprocedimental a nivel de sentencia de fuente y DFG de definiciones alcanzables de archivos fuente de C y C++ sin requerir compilación ni una base de datos de construcción. Opera mediante un pipeline de cuatro etapas:

1. Preprocesador: Combina proyectos de múltiples archivos en un solo archivo. Recopila macros y typedefs locales del proyecto e incorpora encabezados intra-proyecto tratando los encabezados del sistema como declaraciones opacas. Para la compilación condicional, retiene ambos brazos #ifdef/#else en C o selecciona los brazos basados en valores #define en la fuente para C++.
2. Analizador Sintáctico (Parser): Utiliza Tree-sitter para construir un árbol de sintaxis, una tabla de símbolos y asigna un identificador entero único a cada nodo. Crucialmente, los símbolos de tipos desconocidos se etiquetan como unknown_t y se tratan como comodines. Esto evita que las declaraciones faltantes bloqueen la resolución del grafo de llamadas o de la relación definición-uso (def–use). Todos los controladores operan sobre este espacio de identificadores compartido, asegurando que los nodos AST, CFG y DFG compartan un único espacio de nombres.
3. Generador de Vistas de Código: Cuatro controladores (AST, CFG, DFG, Multi-Vista) operan sobre el modelo compartido:
   • AST: Poda el Árbol de Sintaxis Concreta para retener solo los nodos semánticos.
   • CFG: Construye un grafo interprocedimental a nivel de sentencia de fuente. Resuelve llamadas directas, llamadas virtuales mediante Análisis de Jerarquía de Clases (CHA) y llamadas de punteros a funciones rastreando la última asignación visible del puntero. Si un objetivo no se resuelve, se expande hacia los llamados compatibles con la firma.
   • DFG: Añade aristas de definición alcanzable con flujos interprocedimentales. Rastrea argumentos pasados por referencia y accesos a miembros a través de llamadas, pero no modela el aliasing mediante aritmética de punteros, punteros almacenados en el heap o callbacks de void* debido a la falta de un análisis de puntos a (points-to analysis).
   • Multi-Vista: Combina las vistas seleccionadas en un solo grafo donde las aristas están coloreadas por clase de vista, permitiendo a los consumidores posteriores filtrar por vistas específicas sin realizar un nuevo análisis.
4. Visualizador: Exporta los resultados como JSON, Graphviz DOT o PNG.

La herramienta soporta tres banderas de línea de comandos para redimensionar el grafo sin volver a ejecutar el análisis: selección de vista, colapso de variables (fusión de identificadores repetidos) y lista negra de nodos (eliminación de categorías sintácticas específicas).

Contribuciones Clave

• Extracción Libre de Compilación: ATLAS funciona con entradas parciales (por ejemplo, submódulos con encabezados faltantes) sin requerir una base de datos de compilación.
• Alineación de Multi-Vista: Al usar identificadores compartidos, permite recuperar cualquier vista individual (AST, CFG o DFG) filtrando las aristas de un grafo unificado.
• Redimensionamiento de Grafo Configurable: Las banderas de la CLI permiten el colapso de variables y la lista negra de nodos para reducir el tamaño del grafo para fines de entrenamiento.
• Validación Empírica: La herramienta ha sido probada en corpus reales de C y C++ e integrada en un sistema de generación de pruebas descendiente.

Resultos y Evaluación
Los autores evaluaron ATLAS en los corpus de TheAlgorithms (406 archivos C y 360 archivos C++):

• Precisión: ATLAS produce un CFG correcto para el 96.80% de los archivos C y el 91.67% de los archivos C++. Los DFG correctos se generaron para el 91.38% de los archivos C y el 90.56% de los archivos C++.
• Modos de Fallo: Los fallos se limitaron a constructos específicos no soportados: sentencias goto, multi-hilo (multi-threading), aritmética de punteros en tiempo de ejecución, sobrecarga de operadores y miembros estáticos de clase. Estos son límites documentados más que errores de implementación.
• Manejo de Entrada Parcial: En un escenario donde se eliminó un archivo de encabezado, ATLAS construyó exitosamente un CFG y un DFG interprocedimental conectado. El grafo resultante fue estructuralmente equivalente a la versión de compilación completa, diferenciándose únicamente por la ausencia del nodo de declaración.
• Rendimiento: En los 20 programas C más grandes (61–309 LOC), la generación del CFG tuvo un tiempo de ejecución mediana de 6.89 segundos con 135 MB de memoria pico. Una ejecución completa en libcurl (124K LOC) tomó aproximadamente 23 minutos.
• Utilidad Descendiente: Cuando se utilizó como el front-end de CFG para SPARC (un marco de generación de pruebas unitarias basado en LLM), ATLAS permitió una ganancia absoluta del 31.36% en cobertura de líneas y del 26.01% en cobertura de ramas sobre una base de referencia sin contexto, superando o igualando a KLEE en sujetos complejos.

Significancia y Reivindicaciones
El artículo afirma que ATLAS es, según conocimiento de los autores, la única herramienta que satisface simultáneamente la operación a nivel de fuente, la construcción de CFG interprocedimental, la tolerancia a la entrada parcial y la alineación de multi-vista con identificadores compartidos para C/C++. Al reducir la barrera para obtener grafos multi-vista alineados, ATLAS facilita la investigación de ML4SE en bases de código de C/C++ que anteriormente eran difíciles de analizar debido a las dependencias de compilación o la falta de representaciones estructurales unificadas. La herramienta es de código abierto, se distribuye como una imagen de Docker e incluye un videocast para la reproducibilidad.

Limitaciones
Los autores señalan explícitamente que ATLAS no realiza un análisis de puntos a (points-to analysis), lo que significa que no puede resolver completamente el aliasing a través de aritmética de punteros, punteros almacenados en el heap o callbacks de void*. También aproxima características de C++ como plantillas (templates), excepciones y herencia compleja sin un frontend de C++ completo. La validación se ha limitado actualmente a archivos pequeños, y se identifica como trabajo futuro la realización de barridos de proyectos a gran escala y estudios de usuario.