GoCoMA: Hyperbolic Multimodal Representation Fusion for Large Language Model-Generated Code Attribution

Resumen Técnico: GoCoMA

1. Planteamiento del Problema

El uso masivo de Modelos de Lenguaje Grande (LLMs) para la generación de código ha creado un desafío crítico en la forense de software: la dificultad para distinguir entre código escrito por humanos y código generado por IA. Esto plantea riesgos de seguridad, ambigüedad en licencias y problemas de plagio.

• Limitaciones actuales: Los métodos existentes de atribución de autoría de código (CAA) se basan principalmente en características de alto nivel del código fuente (estilometría, AST, sintaxis). Sin embargo, estos enfoques a menudo fallan al capturar señales conductuales más profundas o al generalizar en configuraciones multilingües.
• La brecha identificada: Los enfoques de aprendizaje profundo actuales no explotan adecuadamente las señales de bajo nivel derivadas de los Artefactos Binarios Pre-Ejecutables (BPEA) (como archivos .o, .class, .pyc) y cómo estas se relacionan con las señales estilísticas del código fuente. Además, la fusión tradicional en espacio euclidiano no preserva eficazmente las relaciones jerárquicas entre estas dos modalidades.

2. Metodología: El Marco GoCoMA

GoCoMA (Geodesic Cosine similarity-based cross-Modal Attention) es un marco multimodal que integra el código fuente y sus representaciones visuales derivadas de binarios, utilizando un espacio hiperbólico para la fusión.

A. Transformación de Modalidades:

1. Código (Alto Nivel): Se utilizan Modelos de Lenguaje Pre-entrenados para Código (Code PLMs) como CodeT5+, Qwen2.5-Coder, UniXcoder y CodeBERT para extraer representaciones semánticas y sintácticas.
2. Imagen BPEA (Bajo Nivel): El código fuente se compila en sus artefactos binarios pre-ejecutables. Estos bytes se transforman en imágenes RGB estructuradas (agrupando bytes en triplets para formar píxeles). Se utilizan Modelos de Visión Pre-entrenados (Vision PTMs) como ViT, ConvNeXt, EfficientNetV2 y MaxViT para capturar patrones de optimización y huellas de compilación que no son visibles en el código fuente.

B. Fusión Hiperbólica (El Núcleo Innovador):
El marco propone que la relación entre el código (alto nivel) y el binario (bajo nivel) forma una jerarquía extrínseca. Para preservar esta estructura, GoCoMA no fusiona en espacio euclidiano, sino en una bola de Poincaré (espacio hiperbólico de curvatura negativa).

• Proyección: Las incrustaciones euclidianas de ambas modalidades se proyectan al espacio hiperbólico mediante el mapa exponencial riemanniano.
• Atención GCSA (Geodesic-Cosine Similarity Attention): Se define un mecanismo de atención cruzada que utiliza la distancia geodésica y la similitud coseno geodésica para calcular la interacción entre las modalidades. Esto permite alinear las señales de bajo nivel (imagen) con las de alto nivel (código) de manera más fiel que la atención estándar.
• Fusión y Retroproyección: Las representaciones se agregan utilizando la suma de Möbius (operación de adición en espacio hiperbólico) y luego se proyectan de nuevo al espacio euclidiano para la clasificación final.

3. Contribuciones Clave

1. Perspectiva Multimodal Jerárquica: Es el primer marco que modela conjuntamente el código fuente y las imágenes de sus artefactos binarios (BPEA), estudiando la jerarquía extrínseca resultante entre niveles de abstracción.
2. Arquitectura GoCoMA: Propone un marco de fusión multimodal consciente de la geometría que explota esta jerarquía mediante el mecanismo de atención GCSA dentro de la bola de Poincaré.
3. Rendimiento Superior: Demuestra mejoras consistentes sobre baselines unimodales, multimodales euclidianas y basadas en LLMs recientes en dos benchmarks públicos.

4. Resultados Experimentales

El modelo se evaluó en dos benchmarks de código abierto: CoDET-M4 (multilingüe, multi-dominio) y LLMAuthorBench (atribución multiclase fina entre LLMs modernos).

• Comparación de Rendimiento:
  • GoCoMA superó consistentemente a todas las baselines, incluyendo la fusión por concatenación, atención cruzada euclidiana y la fusión hiperbólica simple (suma de Möbius sin atención GCSA).
  • Mejor configuración: La combinación de un PLM de código de alta capacidad (ej. CodeT5+) con un modelo de visión ViT, fusionado mediante GCSA, alcanzó la máxima precisión.
  • Métricas: En LLMAuthorBench, GoCoMA alcanzó una precisión del 98.92% y un macro-F1 del 93.82% (comparado con ~96% para las mejores baselines euclidianas). En CoDET-M4, logró un 89.00% de precisión.
• Comparación con LLMs Generales: GoCoMA superó significativamente a modelos LLM de propósito general (como GPT-5.1, Gemini 3 Pro) tanto en configuraciones zero-shot como few-shot. Mientras que los LLMs generales alcanzaron un máximo de ~75% en precisión, GoCoMA superó el 89%, demostrando que la modelación jerárquica especializada es superior a la inferencia generalista para esta tarea.
• Análisis de Ablación: Se confirmó que la fusión en espacio hiperbólico aporta las mayores ganancias, validando que las relaciones jerárquicas entre el código y el binario se preservan mejor en geometría no euclidiana.

5. Significado e Impacto

• Forense de Software Avanzada: GoCoMA ofrece una herramienta robusta para rastrear el origen del código generado por IA, crucial para identificar vulnerabilidades, problemas de licencias y plagio.
• Validación de la Geometría Hiperbólica: El trabajo demuestra empíricamente que el espacio hiperbólico es superior al euclidiano para fusionar representaciones multimodales que poseen una estructura jerárquica intrínseca (como la relación entre sintaxis de alto nivel y semántica de bytes de bajo nivel).
• Nueva Línea de Investigación: Abre la puerta a explorar señales de bajo nivel en artefactos binarios para tareas de atribución, sugiriendo que la compilación deja "huellas dactilares" únicas que, combinadas con el código fuente, son altamente discriminativas.

Limitaciones: El enfoque depende de la consistencia de la cadena de herramientas (compiladores, flags de optimización) y actualmente se limita a artefactos estáticos, sin considerar trazas de tiempo de ejecución o metadatos de compilación.