💻 computer science

Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space

Este artículo propone un marco de huella geométrica unificado que analiza la energía espectral y la alineación de subespacios de las matrices de pesos de los LLM para rastrear robustamente el linaje de los modelos y distinguir entre modelos independientes, de la misma serie y de base compartida sin requerir acceso a datos de entrada.

Autores originales: Yiwei Chen, Bingqi Shang, Sijia Liu

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yiwei Chen, Bingqi Shang, Sijia Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde cada vez que construyes un robot, dejas atrás una cadena de ADN única e invisible dentro de su cerebro. En el acelerado universo de la Inteligencia Artificial, estos "robots" se llaman Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés): programas informáticos superinteligentes que pueden escribir historias, resolver problemas matemáticos y charlar como humanos. Pero aquí está el giro: estos modelos no siempre se construyen desde cero. A menudo, una empresa toma un modelo gigante ya prefabricado, lo retoca, lo entrena con nuevos datos y lanza una "nueva" versión. Es como tomar la receta secreta de un chef famoso, añadirle una pizca de sal y llamarla propia. Esto crea un árbol genealógico desordenado donde es difícil saber quién es pariente de quién, quién copió a quién y de dónde proviene realmente un modelo. Este es el problema de la "procedencia": saber el verdadero origen de algo. Los científicos han intentado resolver esto observando cómo actúan los modelos (como probando sus respuestas), pero eso es complicado porque las respuestas pueden cambiar dependiendo de cómo se hagan las preguntas. Así que la gran pregunta es: ¿Podemos mirar dentro del cerebro del modelo (sus pesos) para encontrar una huella dactilar permanente e inalterable que nos diga su historia familiar, sin necesidad de hacerle una sola pregunta?

Este artículo, titulado "¿Quién construyó este modelo?", dice que sí, podemos hacerlo. Los autores, investigadores de la Universidad Estatal de Michigan, proponen una nueva forma de rastrear el linaje de los modelos de IA observando la geometría de sus pesos internos. Tratan el cerebro del modelo como un instrumento musical complejo y escuchan dos "sonidos" diferentes que emite: la intensidad de las notas (energía espectral) y la dirección en la que viajan las ondas sonoras (alineación de subespacios).

Primero, analizaron la "intensidad" o la energía general de los pesos del modelo. Descubrieron que esto actúa como un árbol genealógico de grano grueso. Si dos modelos pertenecen a familias completamente diferentes (como un robot construido por la Compañía A frente a uno de la Compañía B), sus patrones de "intensidad" son totalmente distintos. Si son de la misma serie (como una versión de 3 mil millones de parámetros y una de 7 mil millones de parámetros del mismo modelo), sus patrones son muy similares. Los investigadores demostraron que, al medir esta "energía espectral", podían distinguir fácilmente si dos modelos eran extraños o primos lejanos. Esto es importante porque los métodos anteriores solían confundir estos dos grupos, fallando al distinguir entre un modelo totalmente nuevo y una versión ampliada de uno antiguo.

Sin embargo, la prueba de la "intensidad" choca con un muro cuando los modelos son parientes muy cercanos. Imagina dos modelos que partieron exactamente de la misma base pero luego pasaron por diferentes campamentos de entrenamiento: uno aprendió a ser un tutor de matemáticas y el otro aprendió a ser un escritor creativo. Su "intensidad" es casi idéntica, por lo que la primera prueba no puede distinguirlos. Aquí es donde ocurre la magia de la segunda parte del artículo: la "alineación de subespacios". En lugar de solo escuchar qué tan fuerte es la música, los autores observaron la dirección de las notas. Descubrieron que incluso cuando el volumen general es el mismo, las direcciones específicas hacia las que apuntan las ondas cerebrales del modelo cambian ligeramente dependiendo de lo que el modelo haya aprendido. Si un modelo fue entrenado con un conjunto de datos diminuto, su huella dactilar direccional es casi la misma que la del original. Pero si fue entrenado con un conjunto de datos masivo y diverso, esas direcciones se desplazan notablemente.

El equipo realizó pruebas en más de 110 pares diferentes de modelos de pesos abiertos. Descubrieron que su nuevo método podía hacer lo que los métodos antiguos no podían: separar a los "extraños" de los "primos", y luego hacer zoom para distinguir entre "primos" que tuvieron experiencias de vida diferentes (diferentes datos de entrenamiento o algoritmos). Por ejemplo, demostraron que su método podía detectar que un modelo entrenado con el 100% de un conjunto de datos tenía una huella geométrica diferente a la de uno entrenado con solo el 10%, a pesar de haber partido de la misma base. También descubrieron que diferentes algoritmos de entrenamiento (como DPO, PPO y RAFT) dejan cicatrices geométricas distintas en diferentes partes del cerebro del modelo.

En resumen, el artículo sugiere que los modelos de IA tienen "biometría" intrínseca oculta en su espacio de pesos. Al combinar una comprobación de la energía global (para separar diferentes familias) y una comprobación de la geometría direccional (para distinguir parientes cercanos), podemos construir un mapa fiable de quién construyó qué y cómo evolucionaron. Esto no solo satisface la curiosidad; ofrece una herramienta para verificar la cadena de suministro de la IA, asegurando que sepamos los verdaderos orígenes de los modelos que utilizamos y ayudando a gobernar su evolución a medida que se vuelven más complejos. Los autores enfatizan que esto funciona incluso cuando no tenemos acceso a los datos de entrenamiento, solo a los pesos finales del modelo, lo que lo convierte en una herramienta poderosa para la transparencia en el mundo de la IA.

Resumen Técnico: ¿Quién construyó este modelo? Rastreo del linaje de los LLM mediante huellas espectrales en el espacio de pesos

Declaración del Problema

La rápida proliferación de modelos de lenguaje de gran tamaño (LLM) de pesos abiertos, desarrollados a través de pipelines complejos y de múltiples etapas (preentrenamiento, ajuste fino, alineación), ha creado relaciones de linaje intrincadas. Comprender estas relaciones es crítico para la procedencia, la gobernanza y la integridad de la cadena de suministro de los modelos. Sin embargo, los métodos existentes para identificar el linaje de los modelos enfrentan limitaciones significativas:

Enfoques de caja negra (p. ej., sondeo de prompt-respuesta, marcas de agua) dependen de los datos de entrada, son sensibles al diseño del prompt y no revelan firmas estructurales intrínsecas.
Enfoques de caja blanca (p. ej., estadísticas de pesos, huellas de distribución de parámetros) a menudo reducen la información compleja del espacio de pesos a estadísticas resumidas toscas. Como demuestra el artículo, estos métodos frecuentemente fallan al distinguir entre modelos con diferentes orígenes o escalas, particularmente al distinguir modelos de "origen independiente" de modelos de la "misma serie".

La pregunta central de investigación es: ¿Qué estructuras en el espacio de pesos sirven como huellas dactilares fiables para la identificación del linaje de los LLM? Los autores investigan esto bajo un entorno de caja blanca donde los parámetros del modelo son accesibles, pero los datos de entrenamiento y los metadatos no lo son.

Metodología: Marco de Huellas Geométricas Unificado

Los autores proponen un marco de huellas dactilares geométricas unificado que analiza las matrices de pesos desde dos perspectivas complementarias para abordar la discriminación de linaje jerárquico. El marco define tres regímenes de información compartida creciente:

Origen Independiente (S1): Modelos entrenados de forma independiente sin inicialización, datos o pipelines compartidos.
Misma Serie (S2): Modelos que comparten arquitectura y pipelines de entrenamiento, pero difieren en la escala de sus parámetros.
Base Compartida (S3): Modelos derivados de un modelo preentrenado común que divergen a través del post-entrenamiento (p. ej., diferentes conjuntos de datos o algoritmos).

La metodología descompone las matrices de pesos $W$ mediante la Descomposición en Valores Singulares (SVD) para extraer dos señales distintas:

1. Análisis de Energía Espectral (Discriminación de Grano Grueso)

Para distinguir entre orígenes independientes y modelos de la misma serie, los autores analizan la energía espectral (patrones de magnitud global) de las matrices de pesos.

Mecanismo: Computan la huella de traza espectral, definida como la suma de los cuadrados de los valores singulares ( $\sum \sigma_i^2$ ) para cada capa y tipo de componente (p. ej., Q, K, V, FFN).
Métrica: Se calcula una puntuación de similitud utilizando la correlación de Pearson entre las huellas de traza por capa de dos modelos, normalizada mediante interpolación lineal para manejar las diferencias de profundidad.
Función: Esto captura patrones estructurales globales, permitiendo la separación de familias y escalas de modelos.

2. Análisis de Alineación de Subespacios (Discriminación de Grano Fino)

Para distinguir modelos estrechamente relacionados dentro del régimen de "Base Compartida" (p. ej., variaciones en la escala de datos o algoritmos de post-entrenamiento), los autores analizan la geometría direccional.

Mecanismo: Realizan una SVD compacta en las matrices de pesos y extraen los $k$ vectores singulares izquierdos superiores ( $U_k$ ) para definir los subespacios dominantes.
Métrica: Computan la matriz de cruce de subespacios $C = U_a^T U_b$ y analizan sus valores singulares, que corresponden a los cosenos de los ángulos principales entre subespacios. La métrica agrega los valores singulares más pequeños (que representan el peor caso de alineación) para medir la desviación direccional.
Función: Esto captura las variaciones geométricas y las rotaciones de subespacio inducidas por la escala de los datos de ajuste fino y los algoritmos específicos de post-entrenamiento, que la magnitud espectral por sí sola no puede detectar.

Resultados Clave

Los autores realizaron experimentos extensos en más de 110 pares diversos de LLM de pesos abiertos (incluyendo las familias LLaMA, Qwen y Gemma).

Separación Jerárquica: La métrica Trace propuesta (energía espectral) logra con éxito la separación de grano grueso. Distingue claramente modelos de origen independiente de modelos de la misma serie, una tarea en la que los baselines como AWM (Accurate Weight Matrix) y PDF (Parameter Distribution Fingerprint) fallan, mostrando a menudo un solapamiento significativo o un rendimiento de azar (AUC de AWM = 0.256 frente a AUC de Trace = 0.850 para S1 vs. S2).
Sensibilidad de Grano Fino: La métrica de Alineación de Subespacios discrimina con éxito dentro del régimen de base compartida.
- Escala de Datos: Detecta diferencias en la escala de datos de post-entrenamiento. Por ejemplo, las puntuaciones de similitud disminuyen a medida que aumenta la proporción de datos de ajuste fino (p. ej., de 0.976 para 10% de Alpaca-SFT a 0.889 para 100% de Alpaca-SFT).
- Especificidad del Algoritmo: Revela firmas geométricas distintas para diferentes estrategias de post-entrenamiento (PPO, DPO, RAFT). Por ejemplo, RAFT induce perturbaciones más fuertes en los componentes FFN, mientras que PPO causa caídas notables en las proyecciones Q, mientras que DPO mantiene una alta similitud.
Comparación con Baselines: Los métodos existentes (AWM, HuReF, PDF) asignan puntuaciones de similitud cercanas a 1.0 para todos los pares de base compartida, fallando en capturar variaciones en la escala de datos o el algoritmo. El marco propuesto proporciona una señal continua que diferencia estos escenarios.

Contribuciones Clave

Formulación del Problema: Definió un problema de discriminación de linaje de LLM jerárquico a través de tres regímenes (Origen Independiente, Misma Serie, Base Compartida) con un enfoque en la discriminación de grano fino dentro del entorno de base compartida.
Perspectiva de la Energía Espectral: Demostró que la energía espectral derivada de los valores singulares captura patrones de magnitud global, permitiendo una separación de grano grueso fiable entre modelos independientes y de la misma serie.
Análisis de Alineación de Subespacios: Introdujo un análisis de geometría direccional que captura variaciones de grano fino en el espacio de pesos, permitiendo la discriminación entre modelos de base compartida estrechamente relacionados basados en la escala de datos y los procedimientos de post-entrenamiento.
Validación Empírica: Validó el enfoque en más de 110 pares de LLM, mostrando robustez tanto en la separación de regímenes como en la discriminación de grano fino, superando a los baselines de caja blanca y caja negra existentes.

Significado y Reivindicaciones

El artículo afirma que la geometría del espacio de pesos proporciona una señal robusta e interpretable para el linaje de los modelos que no requiere acceso a los datos de entrada ni a los metadatos de entrenamiento.

Procedencia y Gobernanza: El método respalda la verificación de la procedencia de los modelos, la gobernanza de la propiedad intelectual y la transparencia de la cadena de suministro. Permite a los reguladores y usuarios finales identificar el origen de un modelo y evaluar los riesgos asociados sin necesidad de acceder a los datos de entrenamiento propietarios.
Señales Complementarias: El trabajo establece que la energía espectral y la alineación de subespacios son complementarias: la energía espectral gestiona la separación de regímenes de grano grueso, mientras que la geometría direccional gestiona la diferenciación de grano fino.
Pasivo y de Caja Blanca: El enfoque opera únicamente con los pesos de los modelos liberados públicamente, ofreciendo un método pasivo para auditar el creciente ecosistema de los LLM de pesos abiertos.

Los autores enfatizan que sus hallazgos se basan en el análisis de las firmas estructurales intrínsecas en el espacio de pesos, proporcionando una base para comprender cómo evolucionan los modelos a través de los complejos pipelines del desarrollo moderno de los LLM.