Code Fingerprints: Disentangled Attribution of LLM-Generated Code

Este artículo presenta DCAN, un enfoque basado en aprendizaje contrastivo que disocia la semántica del código de sus características estilísticas específicas del modelo para lograr una atribución precisa de la fuente de código generado por LLM, validado mediante un nuevo conjunto de datos a gran escala.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia de detectives modernos, pero en lugar de buscar huellas dactilares en un vaso de cristal, buscan "huellas digitales" en el código de computadora escrito por Inteligencias Artificiales (IA).

Aquí tienes la explicación, traducida al español y con analogías sencillas:

🕵️‍♂️ El Problema: ¿Quién escribió esto?

Imagina que tienes un pastel delicioso. Sabes que lo hizo una máquina, pero no sabes si fue la Máquina A (como ChatGPT), la Máquina B (como Claude) o la Máquina C (como DeepSeek).

Antes, los investigadores solo se preocupaban por saber: "¿Esto lo hizo un humano o una máquina?". Pero ahora, el mundo necesita saber exactamente qué máquina lo hizo. ¿Por qué?

• Si el código tiene un error o un virus, necesitas saber a quién culpar.
• Si hay un problema de derechos de autor, necesitas saber quién lo generó.
• Si una empresa usa código de una IA específica, necesita saberlo para cumplir las reglas.

El problema es que todas estas IAs son muy inteligentes y escriben código que funciona igual. Es como si cuatro chefs diferentes hicieran el mismo plato de espaguetis; al probarlo, sabe casi igual. Pero un experto sabe que el Chef A siempre usa un poco más de sal, y el Chef B siempre corta la cebolla en trozos más pequeños.

🔍 La Solución: "DCAN" (El Detective Desentrelazador)

Los autores crearon un sistema llamado DCAN (Red de Atribución de Código Desentrelazada). Para entenderlo, usa esta analogía:

Imagina que el código generado por una IA es como una sopa.

1. El Sabor Base (Información Agnóstica): Es el sabor de la sopa en sí (el algoritmo, la lógica). Si todos hacen una "sopa de tomate", todos tendrán el sabor de tomate. Esto es lo que hace que el código funcione.
2. El Toque Personal (Información Específica): Es la forma en que cada chef sazona la sopa. ¿Usa pimienta negra? ¿Un poco de aceite de oliva? ¿Corta el tomate en cubos o en rodajas? Esto es el "estilo" de la IA.

El truco del DCAN:
La mayoría de los detectores anteriores intentaban probar la sopa entera y se confundían porque el sabor de tomate (la lógica) era muy fuerte y tapaba los detalles del chef.

El DCAN hace algo genial: Separa la sopa.

• Usa un filtro mágico para quitar todo lo que es "sabor de tomate" (la lógica común que todos comparten).
• Se queda solo con el toque personal (el estilo único de cada IA).
• Luego, compara ese toque personal con una base de datos de "firmas" de cada IA para decir: "¡Esto lo hizo DeepSeek!".

🧪 El Experimento: La Gran Prueba de Cocina

Para probar su teoría, los investigadores hicieron algo monumental:

1. Crearon un "Laboratorio de Cocina": Pidieron a 4 IAs famosas (DeepSeek, Claude, Qwen y ChatGPT) que resolvieran 2,869 problemas de programación diferentes.
2. Dos Escenarios:
   • Modo "Solo Código": Las IAs escribieron el código sin explicar nada (como un chef que solo sirve el plato).
   • Modo "Con Comentarios": Las IAs escribieron el código y añadieron notas explicativas (como un chef que te dice cómo lo hizo).
3. El Resultado: ¡Funcionó increíblemente bien!
   • El sistema pudo identificar al "chef" (la IA) con una precisión del 93% al 98%, incluso cuando las IAs intentaban hacer lo mismo.
   • Descubrieron que, aunque el código haga la misma función, cada IA tiene "manías":
     • Una IA usa nombres de variables muy largos.
     • Otra usa más comentarios.
     • Otra prefiere ciertas formas de escribir los bucles.

💡 ¿Por qué es importante esto?

Piensa en esto como la forense digital para el futuro.

• Seguridad: Si un hacker usa una IA para crear un virus, la policía podrá rastrear qué IA se usó para generar el código malicioso.
• Justicia: Si una empresa usa código generado por una IA sin pagar, se puede probar de dónde vino.
• Calidad: Sabemos que cada IA tiene un "estilo" único, y esto nos ayuda a entender sus fortalezas y debilidades.

En resumen

Este papel nos dice que las IAs no son clones perfectos. Aunque todas escriben código que funciona, cada una tiene una "firma" oculta en su forma de escribir (su estilo, sus comentarios, su estructura). Los autores crearon un sistema inteligente que ignora lo que el código hace (la lógica) y se enfoca en cómo lo hace (el estilo), permitiéndonos saber exactamente qué máquina escribió cada línea de código.

¡Es como tener un detector de mentiras para el código generado por robots! 🤖🔎

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Code Fingerprints: Disentangled Attribution of LLM-Generated Code" en español, estructurado según los puntos solicitados:

1. El Problema: Atribución de Código Generado por LLM (LLMCSA)

El rápido adopción de Modelos de Lenguaje Grande (LLM) ha transformado el desarrollo de software mediante la generación automatizada de código. Sin embargo, esto introduce desafíos críticos en la gobernanza, la responsabilidad y el cumplimiento de licencias.

• Limitación de la investigación actual: La mayoría de los trabajos existentes se centran en distinguir código generado por máquinas del código escrito por humanos (detección binaria).
• El desafío real: En escenarios prácticos como la triaje de vulnerabilidades, la investigación de incidentes o auditorías de licencias, es crucial identificar qué modelo específico (ej. ChatGPT, Claude, DeepSeek, Qwen) generó un fragmento de código.
• Dificultad inherente: Diferentes LLMs suelen adoptar estrategias de solución similares y seguir reglas sintácticas fijas, lo que hace que sus salidas parezcan superficialmente idénticas. Sin embargo, existen variaciones sutiles en el estilo, la estructura y las preferencias a nivel de token derivadas de sus datos de entrenamiento, arquitecturas y estrategias de alineación, que actúan como "huellas dactilares" generativas.

2. Metodología: DCAN (Red de Atribución de Código Desentrelazada)

Los autores proponen DCAN, un marco novedoso que aborda el problema mediante el desentrelazamiento de representaciones latentes. La hipótesis central es que una representación de código es una mezcla de dos factores:

1. Información Agnóstica a la Fuente (Source-Agnostic): Semántica funcional dependiente de la tarea (compartida por todos los modelos para resolver el mismo problema).
2. Información Específica de la Fuente (Source-Specific): Huellas estilísticas y estructurales inherentes al modelo generador.

Componentes Clave del Framework:

• Extracción de Características: Utilizan el codificador preentrenado UniXcoder para obtener una representación latente inicial ($h_{base}$) que contiene tanto la semántica de la tarea como las huellas del modelo.
• Módulo de Desentrelazamiento:
  • Se utiliza una red de proyección no lineal (MLP) para aproximar la información agnóstica a la fuente ($h_{com}$), alineando las representaciones de diferentes modelos para la misma tarea.
  • La información específica de la fuente ($h_{spec}$) se extrae mediante una descomposición sustractiva: $h_{spec} = h_{base} - h_{com}$.
• Objetivos de Optimización (Función de Pérdida):
  • Pérdida de Clasificación de Origen ($\mathcal{L}_{cls}$): Aplicada a $h_{spec}$ para asegurar que las huellas del modelo sean discriminativas y permitan la clasificación precisa.
  • Pérdida de Consistencia de Representación ($\mathcal{L}_{rc}$): Aplicada a $h_{com}$ para forzar a que las representaciones de la misma tarea (independientemente del modelo) sean consistentes entre sí, eliminando así el ruido dependiente del modelo de la parte semántica.
  • Objetivo Total: $\mathcal{L}_{total} = \mathcal{L}_{cls} + \lambda \mathcal{L}_{rc}$.

3. Contribuciones Clave

1. Definición del Tarea LLMCSA: Formalizan el problema de atribución de código a nivel de modelo como un nuevo desafío en la forense de software.
2. Nuevo Dataset de Referencia (Benchmark): Construyeron el primer dataset a gran escala para esta tarea, compuesto por 91,804 muestras de código.
   • Modelos: DeepSeek, Claude, Qwen y ChatGPT.
   • Lenguajes: Python, Java, C y Go.
   • Configuraciones: Dos entornos: con comentarios (w/ comments) y sin comentarios (w/o comments).
   • Diversidad: Cubre 2,869 tareas de LeetCode con variaciones en dificultad y dominio algorítmico.
3. Marco DCAN: Propusieron un enfoque basado en desentrelazamiento que separa explícitamente la semántica de la tarea de las huellas estilísticas del modelo, logrando una atribución más robusta y precisa sin necesidad de acceder al proceso de generación.

4. Resultados Experimentales

Los experimentos validaron cuatro preguntas de investigación (RQs):

• RQ1 (Distinctividad Generativa): Se demostró que los LLMs tienen preferencias generativas consistentes y distinguibles (ej. ChatGPT es más verboso, Qwen más conciso; diferencias en densidad léxica, convenciones de nomenclatura y profundidad estructural).
• RQ2 (Viabilidad de Atribución): DCAN superó consistentemente a los baselines (GPTSniffer y CodeGPTSensor).
  • En configuración sin comentarios, DCAN alcanzó un F1 promedio del 92.94% (vs. 89.15% de GPTSniffer).
  • En configuración con comentarios, el rendimiento mejoró a un F1 promedio del 98.38%, indicando que los comentarios aportan señales lingüísticas adicionales valiosas.
  • El rendimiento fue alto incluso en tareas difíciles, sugiriendo que la complejidad amplifica las huellas estilísticas.
• RQ3 (Validez del Mecanismo): El estudio de ablación confirmó que el componente $h_{spec}$ (específico de la fuente) es el que realmente contiene la información para la atribución, mientras que $h_{com}$ (agnóstico) falla en distinguir modelos (rendimiento cercano al azar). La visualización t-SNE mostró clusters compactos y separados para cada modelo en el espacio de características específicas.
• RQ4 (Robustez y Generalización):
  • Eficiencia de Datos: DCAN mantiene un alto rendimiento incluso con solo el 10% de los datos de entrenamiento.
  • Generalización Multilingüe: Un modelo unificado entrenado en varios lenguajes funciona tan bien como modelos especializados por lenguaje.
  • Zero-Shot: El modelo demostró capacidad de generalización a lenguajes no vistos durante el entrenamiento, especialmente cuando se incluyen comentarios, lo que sugiere que el estilo natural de los LLMs es transferible entre lenguajes de programación.

5. Significado e Impacto

Este trabajo es fundamental para la seguridad y la gobernanza del software en la era de la IA generativa:

• Responsabilidad y Trazabilidad: Permite rastrear el origen de código malicioso, vulnerable o con conflictos de licencias hasta el modelo específico que lo generó, facilitando la auditoría y la mitigación de riesgos.
• Superación de Métodos Tradicionales: Al separar la semántica de la tarea del estilo del modelo, DCAN supera las limitaciones de los métodos anteriores que se confundían con la lógica funcional del código.
• Herramienta Forense: Proporciona una metodología robusta para la forense de código, capaz de operar en entornos reales donde no se tiene acceso al proceso de generación (atribución pasiva).
• Recurso Comunitario: La publicación del dataset y el código fuente establece un estándar para futuras investigaciones en la atribución de modelos de IA.

En resumen, el artículo demuestra que, a pesar de la aparente uniformidad funcional, los LLMs dejan "huellas dactilares" estilísticas únicas que pueden ser extraídas y explotadas mediante técnicas de aprendizaje profundo desentrelazado para identificar con alta precisión su autoría.