Resumen Técnico: Detección de la Memorización Funcional en Modelos de Lenguaje de Código

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) entrenados en corpus de código se utilizan cada vez más para la generación de código. Investigaciones previas han investigado extensamente la "extracción de datos de entrenamiento", donde los modelos reproducen ejemplos de entrenamiento de forma literal o casi literal. Sin embargo, los métodos de auditoría existentes dependen casi exclusivamente de métricas de similitud textual (por ejemplo, BLEU, distancia de edición). Este enfoque no logra capturar un riesgo crítico: la memorización funcional.

El código puede ser funcionalmente equivalente siendo textualmente disímil. Las variables pueden ser renombradas, el flujo de control reestructurado, se pueden añadir o eliminar comentarios, o se pueden emplear algoritmos completamente diferentes para lograr la misma lógica. Si un LLM internaliza lógica funcional propietaria (por ejemplo, algoritmos de trading, reglas de recomendación) de sus datos de entrenamiento y la reproduce en una forma reestructurada, las métricas estándar basadas en texto no detectarán la filtración. Este artículo aborda la brecha en la detección y cuantificación de esta "memorización funcional" más allá de la superposición superficial de tokens.

Metodología

Los autores proponen una configuración contrafáctica para distinguir la memorización de la generalización, aprovechando la transparencia de entrenamiento del modelo de código abierto Olmo-3-32B.

1. Configuración Experimental

• Modelo Objetivo ($M_T$): El checkpoint de mid-training de Olmo-3-32B, que ha sido expuesto al código objetivo (CraneCode, un subconjunto filtrado de the-stack-v2-smol).
• Modelo de Referencia ($M_R$): El checkpoint de pre-entrenamiento de Olmo-3-32B, que comparte la misma arquitectura y pre-entrenamiento pero no ha sido expuesto a los datos específicos de mid-training.
• Datos: 7,422 funciones Python del corpus CraneCode, filtradas para contener "lógica funcional significativa" (reglas de negocio, algoritmos propietarios) mediante el uso de un LLM como juez.
• Procedimiento: Ambos modelos son instados con firmas de funciones y hasta 250 tokens precedentes. Los modelos generan continuaciones utilizando decodificación codiciosa (greedy decoding). La salida generada ($x^*$) se compara contra los datos de entrenamiento reales ($x$).

2. Definición de Memorización Funcional Contrafáctica

Un ejemplo se define como contrafácticamente memorizado funcionalmente si:

1. Baja Superposición Textual: La generación objetivo tiene una baja similitud textual con la verdad fundamental ($SIM_{text} < \tau_{text}$).
2. Alta Superposición Funcional: La generación objetivo es funcionalmente equivalente a la verdad fundamental ($SIM_{func} \ge \tau_{func}$).
3. Divergencia Contrafáctica: El modelo de referencia (no expuesto) no produce una salida funcionalmente equivalente para el mismo prompt.

3. Métricas de Evaluación

El estudio emplea un conjunto integral de métricas para medir la similitud, categorizadas de la siguiente manera:

• Métricas Textuales: Coincidencia exacta, BLEU, similitud de edición y la Subcadena Común Más Larga (LCS).
• Métricas Estructurales: CodeBLEU (variantes de sintaxis y flujo de datos) y Distancia de Edición de Árbol (TSED).
• LLM-as-a-Judge (LLM como Juez): Tres prompts distintos (Song et al., Nikiema et al., y un prompt de equivalencia funcional personalizado) para evaluar la similitud semántica.
• Basadas en Ejecución: HyClone, un detector de dos etapas que genera entradas de prueba, ejecuta ambas funciones y compara las salidas para verificar la equivalencia funcional.

Contribuciones Clave

1. Formalización de la Memorización Funcional: El artículo define y operacionaliza el concepto de extraer lógica funcional de los LLMs sin copia literal, distinguiéndola de la generalización.
2. Marco Contrafáctico para Código: Adapta el marco de memorización contrafáctica (previamente utilizado para lenguaje natural) al código, utilizando la transparencia de entrenamiento específica de Olmo-3 para crear una comparación rigurosa de "expuesto vs. no expuesto".
3. Conjunto Integral de Métricas: El trabajo evalúa un amplio espectro de métricas de similitud, demostrando que las métricas basadas en texto son insuficientes para detectar la filtración funcional.
4. Evidencia Empírica: El trabajo proporciona la primera evidencia a gran escala de que los modelos de lenguaje de código exhiben memorización funcional a una tasa significativa, incluso cuando la superposición textual es baja.

Resultados

El estudio analiza 7,422 funciones y encuentra cambios sistemáticos en la similitud desde el modelo de referencia hacia el modelo objetivo en todas las métricas.

• Memorización Verbatim: Consistente con trabajos previos, el modelo objetivo produce coincidencias exactas (0.11%) y coincidencias casi literales (BLEU $\ge$ 0.75, 0.58%) que el modelo de referencia no produce.
• Memorización Funcional:
  • Métricas Estructurales: CodeBLEU (DFG) y TSED identificaron el 1.8% y el 2.1% de las muestras como contrafácticamente memorizadas, respectivamente, a pesar de los bajos puntajes de BLEU.
  • LLM-as-a-Judge: Usando el prompt de equivalencia funcional conservador de los autores, el 3.9% de las muestras fueron identificadas como funcionalmente memorizadas (bajo BLEU, alta similitud funcional y divergencia contrafáctica). Otros prompts arrojaron tasas más altas (hasta el 14.0%), lo que sugiere sensibilidad al diseño del prompt.
  • Basadas en Ejecución: Bajo las pruebas más estrictas de HyClone, el 0.28% de las generaciones fueron verificadas como funcionalmente idénticas a los datos de entrenamiento mientras el modelo de referencia fallaba en hacerlo. Esto se considera un límite inferior debido a los desafíos de ejecución (por ejemplo, dependencias faltantes, estado de clase).
• Correlación de Métricas: Las métricas textuales (BLEU, Edición) están altamente correlacionadas entre sí pero débilmente correlacionadas con las métricas basadas en ejecución (HyClone), confirmando que capturan señales distintas.

Ejemplo: El artículo destaca un caso donde el modelo objetivo reprodujo una lógica de comisión codificada (hard-coded) de los datos de entrenamiento utilizando una implementación reestructurada (diferentes nombres de variables y flujo de control), mientras que el modelo de referencia alucinó una lógica no relacionada. Las métricas textuales (BLEU = 0.26) no lograron señalar esto, mientras que las métricas funcionales (LLM-judge = 0.8, Ejecución = 0.95) tuvieron éxito.

Significado y Reivindicaciones

El artículo sostiene que los regímenes de auditoría actuales que dependen únicamente de la superposición textual son insuficientes para los modelos de código. Los resultados demuestran que la memorización funcional ocurre en un orden de magnitud similar a la memorización casi literal cuando se mide con métricas funcionales apropiadas.

Los autores afirman que:

• Los modelos pueden internalizar y reproducir lógica propietaria incluso cuando la forma superficial está significativamente alterada.
• Las protecciones actuales de privacidad e IP basadas en la similitud de texto probablemente están subestimando el riesgo de filtración de datos de entrenamiento.
• Existe una necesidad urgente de métricas de auditoría que vayan más allá de la superposición textual, incorporando análisis estructural, juicio semántico basado en LLM y verificación basada en ejecución.

El trabajo concluye motivando el desarrollo de regímenes de auditoría más robustos y técnicas de medición mejoradas para la similitud funcional, señalando que los métodos actuales basados en ejecución todavía están limitados por la complejidad de los entornos de código del mundo real.