Resumen Técnico: SIGIL – Inyección Sutil para la Inferencia de Verdad de Terreno de Datos de Entrenamiento de LLM

1. Declaración del Problema

Los corpus de entrenamiento de los Modelos de Lenguaje de Gran Escala (LLM) de vanguardia incorporan frecuentemente vastas cantidades de texto extraído de la web sin el consentimiento del autor, lo que deriva en litigios significativos por derechos de autor. Una barrera técnica crítica en estos procedimientos legales es la ausencia de un método forense riguroso para demostrar que un documento específico fue incluido en el conjunto de entrenamiento de un modelo.

Los ataques de inferencia de membresía (MIA) existentes operan post-hoc, intentando detectar la memorización en modelos ya entrenados. Estos métodos sufren de una baja relación señal-ruido porque dependen de la memorización incidental de contenido arbitrario. Además, carecen de Tasas de Falsos Positivos (FPR) formalmente controladas, un requisito para la admisibilidad en tribunales. Existe la necesidad de un enfoque proactivo donde los propietarios del contenido controlen la señal, asegurando la detectabilidad manteniendo la imperceptibilidad y el rigor estadístico.

2. Metodología: El Marco SIGIL

SIGIL (Inyección Sutil para la Inferencia de Verdad de Terreno de Datos de Entrenamiento de LLM) propone un marco proactivo donde los propietarios de contenido incrustan secuencias "canario" imperceptibles en textos y código protegidos antes de su publicación. Si un modelo es entrenado con estos documentos marcados de agua, exhibe firmas de comportamiento estadísticamente detectables cuando se le somete a consultas dirigidas.

2.1 Marco Estadístico Formal

El núcleo de SIGIL es un marco de prueba de hipótesis basado en el lema de Neyman-Pearson, diseñado para controlar estrictamente la Tasa de Falsos Positivos (FPR).

• Hipótesis:
  • $H_0$: El modelo $M$ no fue entrenado con el corpus marcado con agua $D'$.
  • $H_1$: El modelo $M$ fue entrenado con $D'$.
• Puntuación de Inferencia de Membresía (MIS): La métrica de decisión se define como $MIS(M) = \Phi^{-1}(1 - p_{Welch})$, donde $p_{Welch}$ es el valor p de la prueba t de Welch unilateral que compara las log-probabilidades de las consultas de prueba canario ($x_P$) frente a las consultas de control emparejadas ($x_N$).
  • Bajo $H_0$, $MIS \sim N(0, 1)$ asintóticamente, lo que permite un control exacto de la FPR (por ejemplo, umbral 1.645 para $\alpha=0.05$).
• Imperceptibilidad: Definida como $I(d, d') = (1 - \text{distancia de edición normalizada}) \cdot (1 - P_h)$, donde $P_h$ es la probabilidad de detección humana. El marco requiere que $I > 0.75$.

2.2 Taxonomía de Estrategias Canario

SIGIL define cinco estrategias canario, cada una calibrada contra la literatura empírica de inferencia de membresía para maximizar la ventaja de detección ($\Delta_s$):

1. Lexical-Rare (Token Raro): Inserción de palabras reales en inglés de baja frecuencia (ej. "vellichor") en contextos naturales.
2. Lexical-Phrase (Frase Canario): Frases sintácticamente correctas pero semánticamente novedosas insertadas como paréntesis.
3. Syntactic (Sintáctica): Inversión sistemática del orden adjetivo-sustantivo en frases específicas.
4. Semantic (Semántica/Tema Semántico): Aumento con afirmaciones de dominio distintivas pero fácticamente plausibles (ej. "la atribución basada en redes como el estándar de oro").
5. Code-Pattern (Patrón de Código): Identificadores únicos incrustados en docstrings de funciones y comentarios en línea.

2.3 Simulación y Calibración

Los autores utilizaron un simulador calibrado contra datos empíricos (específicamente Carlini et al. [2] y Shi et al. [14]) para modelar las distribuciones de log-probabilidad.

• Hipótesis Nula ($H_0$): Las log-probabilidades siguen $N(0.5, \sigma^2)$ con $\sigma=0.155$.
• Hipótesis Alternativa ($H_1$): La media se desplaza mediante una función de la tasa de inyección ($r$), la razón de mezcla ($m$), el factor de tamaño del modelo ($f_{size}$) y la ventaja de la estrategia ($\Delta_s$).
• Diseño Experimental: 36,000 ensayos a través de 5 tasas de inyección, 4 razones de mezcla, 3 tamaños de modelo, 7 condiciones de defensa adversarial y 5 estrategias.

3. Contribuciones Clave

1. Definición Formal de MIS: Una Puntuación de Inferencia de Membresía con garantías estadísticas de Neyman-Pearson, permitiendo evidencia admisible en tribunales con FPR controlada.
2. Taxonomía Proactiva: Una clasificación de cinco estrategias canario con ventajas de detección calibradas derivadas de la literatura empírica.
3. Evaluación Exhaustiva: Pruebas sistemáticas a través de 36,000 ensayos cubriendo tasas de inyección, tamaños de modelo y defensas adversariales.
4. Robustez al Parafraseo: La primera demostración de que la detección basada en canarios mantiene un alto rendimiento ($AUC > 0.86$) incluso bajo parafraseo del 100%, atribuido a la "fuga semántica".

4. Resultados Experimentales

La simulación arrojó un Área Bajo la Curva (AUC) general de 0.892.

• Rendimiento de las Estrategias:
  • Code Pattern logró el AUC más alto (0.903, Cohen's $d=1.84$) y la mayor imperceptibilidad ($I=0.932$).
  • Canary Phrase empató en segundo lugar con el AUC más alto (0.900) y la mayor tasa de detección por estrategia (59.8%).
  • Syntactic Structure tuvo el AUC más bajo (0.875) y la menor ventaja de detección.
• Efectos de los Factores: La tasa de inyección, el tamaño del modelo, la estrategia canario y la razón de mezcla tuvieron efectos independientes significativos sobre el MIS ($p < 0.001$).
  • Las tasas de detección variaron entre el 33% y el 78% dependiendo de las condiciones.
  • Con una inyección del 10% en un modelo de 7B, las tasas de detección alcanzaron el 77.8%.
• Robustez ante Defensas:
  • Bajo parafraseo del 100%, SIGIL mantuvo un AUC de 0.864. Esto se atribuye a la fuga semántica, donde las asociaciones tópicas codificadas en los pesos del modelo sobreviven a la reescritura de la superficie.
  • El marco se mantuvo efectivo contra la deduplicación exacta, la casi-deduplicación (MinHash) y la limpieza heurística.

5. Significación y Reivindicaciones

El artículo posiciona a SIGIL como un puente entre la detectabilidad teórica y la evidencia forense desplegable. Su significación principal reside en tres áreas:

1. Admisibilidad Judicial: A diferencia de los ataques probabilísticos previos, SIGIL ofrece una FPR formalmente controlada. Con $\alpha=0.01$, el marco logra una razón de verosimilitud de aproximadamente 73:1 a favor de la membresía de los datos de entrenamiento para modelos grandes con 10% de inyección, superando el umbral del factor de Bayes comúnmente citado como "evidencia fuerte" en la estadística forense.
2. Control Proactivo: Cambia el paradigma de la observación pasiva al control activo de la señal. Los propietarios de contenido pueden incrustar señales imperceptibles que son estadísticamente distinguibles del ruido, incluso si el adversario intenta eliminarlas.
3. Resiliencia Semántica: El marco demuestra que la detección no depende únicamente de la memorización literal. Al aprovechar las asociaciones semánticas (mediante canarios de Tema Semántico), SIGIL sobrevive al parafraseo agresivo, abordando una limitación importante del marcaje de agua léxico.

Los autores concluyen que, si bien los resultados actuales se basan en un simulador calibrado, el marco proporciona una base rigurosa para la futura validación empírica en LLMs reales y ofrece un camino viable para la protección de la propiedad intelectual en la era del raspado de datos no consentido.