💬 NLP

Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!

Este artículo presenta un método de huella digital basado en las distribuciones de desviación estándar de las matrices de atención para identificar el origen de los modelos de lenguaje, demostrando que el entrenamiento continuo no es suficiente para ocultar el plagio de modelos.

Autores originales: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

Publicado 2026-04-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El "ADN Digital": ¿Cómo saber si un modelo de IA es un plagio?

Imagina que eres un chef famoso y pasas años perfeccionando una receta secreta de salsa para pasta. Es tu obra maestra, tu propiedad intelectual. Un día, ves que un restaurante nuevo en la otra punta del mundo sirve una salsa que sabe exactamente igual a la tuya. El dueño te dice: "No, no es la suya, yo inventé esta receta desde cero usando mis propios ingredientes".

¿Cómo podrías demostrar que te robó la receta? No basta con probarla, porque el sabor puede cambiar un poco si le añade más sal o pimienta. Necesitas algo más profundo.

1. El problema: El "lavado de cara" de la IA

Hoy en día, crear una Inteligencia Artificial (como ChatGPT o Qwen) es increíblemente caro y difícil; cuesta millones de dólares y requiere supercomputadoras gigantes. Por eso, algunos "cocineros" de IA están haciendo trampa: en lugar de cocinar su propia receta desde cero, toman la receta de otro, le cambian un par de ingredientes (lo que llaman "entrenamiento continuo") y dicen que es suya.

Hasta ahora, los métodos para atraparlos eran como ponerle una "marca de agua" a la comida (un ingrediente que se nota al probarla). Pero si el ladrón cocina la salsa un poco más, la marca desaparece.

2. El descubrimiento: La "huella dactilar" invisible

Los investigadores de este estudio descubrieron algo asombroso. No hace falta probar el "sabor" (lo que la IA dice), sino mirar la estructura molecular de los ingredientes (los parámetros matemáticos de la IA).

Ellos descubrieron que, cuando se entrena una IA, los números que forman sus "neuronas" (específicamente en una parte llamada atención) se organizan siguiendo un patrón estadístico muy particular. Es como si, al cocinar, la forma en que los granos de sal se distribuyen en el fondo de la olla dejaran un patrón único.

Aunque el ladrón intente "re-cocinar" la IA para ocultar su origen, ese patrón matemático es casi imposible de borrar. Es como el ADN: aunque le cambies el color de pelo o la ropa a una persona, su ADN sigue siendo el mismo.

3. El caso de la "receta robada" (El escándalo de Huawei)

Para probar que su método funciona, los científicos hicieron una prueba de detective. Compararon un modelo de IA llamado Pangu Pro (de la empresa Huawei) con otro llamado Qwen-2.5 (de Alibaba).

Huawei decía que su modelo era una creación propia, fruto de un entrenamiento masivo. Pero cuando los científicos aplicaron su técnica de "huella dactilar", los resultados fueron escandalosos: las huellas eran casi idénticas.

Es como si un detective entrara en la cocina de Huawei y encontrara que, aunque la salsa se llama "Pangu", la forma en que las moléculas de grasa están organizadas es exactamente la misma que en la salsa "Qwen". La probabilidad de que eso ocurra por casualidad es prácticamente cero. El estudio sugiere que Huawei no creó su modelo desde cero, sino que tomó el de Qwen y lo "recicló" (un proceso llamado upcycling).

4. ¿Por qué es esto importante para ti?

Este estudio es una herramienta de justicia para el mundo tecnológico.

Protege la innovación: Si los creadores saben que no pueden robar recetas sin ser descubiertos, se esforzarán más en inventar cosas nuevas.
Transparencia: Obliga a las grandes empresas a ser honestas sobre de dónde viene su tecnología.
Justicia: Permite que los dueños de la tecnología original puedan reclamar sus derechos y su dinero.

En resumen: Los científicos han encontrado una forma de leer el "ADN" de las máquinas para asegurar que, en la carrera por la inteligencia artificial, nadie haga trampas usando el trabajo de los demás.

1. El Problema: Vulnerabilidad de la Propiedad Intelectual

Con el aumento de los costos de entrenamiento de los Grandes Modelos de Lenguaje (LLMs), la protección de la propiedad intelectual (PI) se ha vuelto crítica. Los métodos actuales de protección presentan fallos graves:

Marcas de agua (Watermarking): Se insertan en la salida del modelo (probabilidades de tokens). Son frágiles porque pueden eliminarse mediante el reentrenamiento (fine-tuning), el parafraseo con otros modelos o la modificación de la distribución de salida.
Huellas digitales activas (Fingerprinting): Dependen de "puertas traseras" (backdoors) o disparadores específicos que pueden ser borrados mediante entrenamiento continuo o cambios en la arquitectura.

El desafío radica en encontrar un método de autenticación que sea intrínseco al modelo y que sobreviva a procesos de modificación como el reentrenamiento, la destilación o el upcycling (convertir un modelo denso en uno de Mezcla de Expertos - MoE).

2. Metodología: Huellas Digitales de Distribución de Parámetros

Los autores proponen un enfoque basado en las propiedades estadísticas naturales de los parámetros del mecanismo de atención, en lugar de señales externas impuestas.

El proceso técnico consiste en:

Extracción de matrices: Para cada capa $l$ del transformador, se extraen las matrices de proyección de atención: Query ( $Q_l$ ), Key ( $K_l$ ), Value ( $V_l$ ) y Output ( $O_l$ ).
Cálculo de la desviación estándar: Se calcula la desviación estándar ( $\sigma$ ) de todos los elementos de cada matriz de proyección. Esto genera una secuencia de valores a lo largo de todas las capas del modelo.
Normalización: Para permitir la comparación entre modelos de diferentes escalas o arquitecturas, cada secuencia se normaliza para tener media cero y varianza unitaria. Esto preserva el "patrón" de la distribución sin importar la escala de los pesos.
Detección de linaje (Correlación): Se utiliza el coeficiente de correlación de Pearson ( $\rho$ ) para comparar las secuencias normalizadas de dos modelos. Si la correlación es excepcionalmente alta, se infiere que un modelo deriva del otro.
Interpolación: En caso de comparar modelos con distinto número de capas, se utiliza interpolación lineal para alinear las secuencias y permitir una comparación estadística válida.

3. Contribuciones Clave

Nuevo método de autenticación: Un enfoque pasivo y robusto que no requiere modificar el modelo original.
Resiliencia arquitectónica: Demuestran que la huella digital persiste incluso cuando se cambia de un modelo denso a uno de Mezcla de Expertos (MoE).
Detección de "Upcycling" no declarado: Capacidad para identificar cuando un modelo ha sido construido sobre las bases de otro mediante técnicas de expansión de parámetros.

4. Resultados Principales

El estudio presenta hallazgos impactantes mediante comparaciones cuantitativas:

Caso de estudio Huawei vs. Qwen: El hallazgo más significativo es que el modelo Pangu Pro MoE de Huawei muestra una correlación extremadamente alta con el modelo Qwen-2.5 14B (promedio general de 0.927). Las curvas de desviación estándar de las matrices de atención son casi idénticas, lo que sugiere fuertemente que Pangu Pro MoE es una derivación de Qwen mediante upcycling y no un modelo entrenado desde cero, contradiciendo los informes técnicos oficiales.
Validación con linajes conocidos: El método detectó con éxito relaciones ya documentadas, como la derivación de NVIDIA (Llama-3.1-Nemotron) de Meta (Llama-3.1), y modelos de la comunidad basados en Qwen.
Análisis de redes FFN: La técnica también se aplicó a las redes Feed-Forward (FFN), confirmando que la similitud entre Pangu y Qwen persiste incluso en estas capas, lo que refuerza la evidencia de plagio o uso no autorizado.

5. Significancia e Implicaciones

Para la industria de la IA: El trabajo advierte que el entrenamiento continuo (incluso en escalas masivas como 13 o 15 billones de tokens) no es suficiente para borrar la "identidad estadística" de un modelo base.
Ética y Transparencia: El estudio pone de relieve problemas de integridad científica y fabricación de información en los informes técnicos de grandes corporaciones.
Protección de PI: Proporciona una herramienta técnica y legal potencial para que las organizaciones protejan sus inversiones frente al uso no autorizado de sus modelos fundacionales.