Resumen Técnico: Identificación y Reconstrucción de la Homología de Pesos de LLM Basada en Matrices

1. Planteamiento del Problema

El artículo aborda el desafío de detectar la homología de pesos entre Modelos de Lenguaje de Gran Escala (LLMs). A medida que los modelos crecen en escala y complejidad, las preocupaciones respecto al uso no atribuido, la replicación o el "up-cycling" (por ejemplo, ajuste fino, poda, preentrenamiento continuo) de los pesos de los modelos se han intensificado. El problema central se formula como una tarea de clasificación binaria: dados dos modelos $A$ y $B$ con parámetros $\theta_A$ y $\theta_B$, determinar si comparten un linaje de pesos (es decir, si uno deriva del otro) basándose únicamente en las propiedades estadísticas de sus pesos.

Los autores definen la homología para incluir diversas rutas evolutivas:

• Ajuste fino (Fine-tuning): Incluyendo SFT y RL.
• Preentrenamiento continuo: Entrenamiento con datos adicionales.
• Upcycling: Expansión de un modelo más pequeño hacia uno más grande (por ejemplo, MoE).
• Poda (Pruning): Reducción del tamaño del modelo mediante la eliminación de canales o neuronas.
• Transformaciones: Incluyendo permutaciones, escalado y transformaciones ortogonales/unitarias.

Crucialmente, el artículo distingue entre homología (pesos/inicialización compartidos) y homogeneidad (salidas similares debido al entrenamiento con datos similares). Dos modelos entrenados con los mismos datos pero con diferentes semillas aleatorias no se consideran homólogos.

2. Metodología: MDIR

Los autores proponen la Identificación y Reconstrucción Basada en Matrices (MDIR), un método de caja blanca que opera exclusivamente sobre los pesos del modelo sin requerir inferencia del mismo. MDIR aprovecha el análisis de matrices, la descomposición polar y la Teoría de Grandes Desviaciones (LDT) para lograr tres objetivos:

1. Identificar relaciones ortogonales entre matrices de pesos.
2. Detectar permutaciones y factores de escala.
3. Proporcionar valores p (p-values) estadísticos rigurosos para la significancia de las relaciones detectadas.

2.1 Fundamento Teórico: Transformaciones Invariantes

El método se basa en la observación de que los LLM modernos están sobreparametrizados, y muchas configuraciones de parámetros distintas producen comportamientos de entrada-salida idénticos. Estas configuraciones forman un espacio invariante $M_{inv}(\theta)$. Los autores identifican un grupo de Lie $G$ de transformaciones "totalmente invariantes" (por ejemplo, rotaciones ortogonales, permutaciones y escalados) que preservan la función del modelo.

Bajo condiciones idealizadas, la dinámica de entrenamiento se confina al espacio cociente $M_{arch}/G$. En consecuencia, el componente de los parámetros a lo largo de la órbita-$G$ (las "coordenadas-$G$") permanece constante durante el entrenamiento. Si dos modelos son homólogos, su transformación relativa $g_1^{-1}g_2$ debería ser cercana al elemento identidad $e$ del grupo $G$. Por el contrario, modelos inicializados de forma independiente tendrán una transformación relativa distribuida aleatoriamente en $G$.

2.2 Pasos Algorítmicos

El proceso MDIR consta de los siguientes pasos:

1. Estimación de la Relación Ortogonal:
   Para un par de matrices de pesos (por ejemplo, embeddings $E$ y $E'$), el método resuelve un problema de optimización para encontrar la matriz ortogonal $U$ que minimiza $\|E' - EU^T\|_F$. Esto es equivalente a encontrar el factor ortogonal en la descomposición polar de $E'^T E$.

   • Gestión de Diferentes Tokenizadores: Si los modelos utilizan diferentes tokenizadores, el método restringe la comparación a un conjunto de tokens de vocabulario común $C$ para estimar la transformación.

2. Identificación de Permutaciones:
   La matriz ortogonal estimada $\tilde{U}$ se analiza para detectar patrones estructurales específicos, tales como permutaciones. El método resuelve un Problema de Asignación de Suma Lineal (usando el algoritmo húngaro) para encontrar una matriz de permutación $P$ que maximice $\text{Tr}(P \tilde{U}^T)$. Este paso identifica si las neuronas o canales han sido reordenados.

3. Significancia Estadística (Estimación del valor p):
   Para determinar si el alineamiento observado es estadísticamente significativo o una coincidencia aleatoria, los autores aplican la Teoría de Grandes Desviaciones (LDT).

   • Hipótesis Nula: Los pesos no están relacionados, y la matriz ortogonal estimada está distribuida uniformemente sobre el grupo ortogonal $O(n)$ según la medida de Haar.
   • Métrica: La traza del producto de la permutación y la matriz ortogonal, $\text{Tr}(P \tilde{U}^T)$, sirve como estadística de prueba.
   • Cálculo: Usando LDT, la probabilidad de observar un valor de traza tan alto como el hallado por azar decae exponencialmente con el cuadrado de la traza. El valor p se estima como $p \le n! \cdot K \exp(-c^2/2)$, donde $n$ es la dimensión del embedding y $c$ es la traza observada. Esto permite la generación de valores p extremadamente pequeños (por ejemplo, $10^{-1000}$), proporcionando evidencia estadística rigurosa de homología.

4. Reconstrucción por Capas:
   Para modelos con diferentes arquitecturas (por ejemplo, diferentes conteos de capas), MDIR itera a través de las capas para reconstruir el mapa de correspondencia, identificando qué capas en el modelo base corresponden a qué capas en el modelo derivado.

3. Contribuciones Clave

• Rendimiento SOTA: MDIR logra puntuaciones perfectas (1.000) tanto en Precisión (Accuracy) como en el Área Bajo la Curva (AUC) a través de diferentes modelos fuente en el benchmark LeaFBench, superando a métodos existentes como Gradient, REEF, HuRef y PDF.
• Rigor Estadístico: A diferencia de otros métodos que emiten puntuaciones de similitud que requieren una calibración de umbral arbitraria, MDIR emite verdaderos valores p estadísticos, eliminando la necesidad de un ajuste heurístico de umbrales.
• Libre de Inferencia y de Bajos Recursos: El método no requiere inferencia del modelo y compara únicamente pares individuales de matrices, lo que lo hace factible para ejecutarse en dispositivos de bajos recursos.
• Robustez ante Transformaciones: El método es invariante a permutaciones, escalado y transformaciones ortogonales. Sigue siendo efectivo incluso cuando los modelos utilizan diferentes tokenizadores o han pasado por procesos de poda y upcycling.
• Capacidad de Reconstrucción: MDIR puede reconstruir los mapeos de correspondencia de pesos específicos (por ejemplo, identificando exactamente qué capas fueron podadas o cómo se permutaron las neuronas), ofreciendo una interpretabilidad que los métodos de huella digital (fingerprinting) carecen.

4. Resultados Experimentales

El artículo evalúa MDIR en una variedad de modelos, incluyendo:

• Ajuste Fino de Instrucciones y Preentrenamiento Continuo: Identificó con éxito la homología entre modelos como Llama-3.1-8B y Llama-3.2-1B, y variantes de Qwen2.5.
• Poda (Pruning): Detectó correctamente que Llama-3.2-1B y 3B son versiones podadas de Llama-3.1-8B, reconstruyendo el mapeo de capas específico (por ejemplo, identificando que Llama-3.2-1B retiene capas específicas del modelo 8B).
• Upcycling: Identificó relaciones en modelos MoE (por ejemplo, Qwen1.5-MoE-A2.7B derivado de Qwen1.5-1.8B).
• Diferentes Tokenizadores: Demostró efectividad al reentrenar un modelo con un nuevo tokenizador (GPT-NeoX) manteniendo los pesos originales. MDIR detectó con éxito la homología a medida que los embeddings originales convergían, incluso con un vocabulario cambiado.
• Robustez Adversaria:
  • Inyección de Ruido: MDIR se mantuvo robusto contra la inyección de ruido gaussiano, manteniendo una alta confianza de detección incluso cuando los niveles de ruido causaron el colapso del rendimiento funcional (precisión MMLU) del modelo.
  • Modelos Independientes: Identificó correctamente la ausencia de homología entre modelos desarrollados de forma independiente (por ejemplo, DeepSeek-V3 y Kimi-K2) o modelos entrenados con los mismos datos pero con diferentes semillas aleatorias.

5. Significancia y Reivindicaciones

Los autores afirman que MDIR representa un cambio fundamental en la auditoría de modelos al pasar de métricas de similitud heurísticas a pruebas de hipótesis estadísticamente rigurosas.

• Valores p extremos: El artículo señala que los valores p resultantes (por ejemplo, $10^{-104}$) no son artefactos numéricos, sino reflejos precisos de la improbabilidad estadística de tales alineamientos de pesos ocurriendo por azar en espacios de alta dimensión, impulsados por la Teoría de Grandes Desviaciones.
• Responsabilidad: El método proporciona una herramienta para fomentar la responsabilidad y la transparencia en el desarrollo de IA, ayudando potencialmente en la detección de violaciones de propiedad intelectual y replicación no autorizada de modelos.
• Limitaciones: Los autores reconocen modestamente que, si bien MDIR destaca en la detección de homología por pares, aún no resuelve preguntas filogenéticas complejas (por ejemplo, determinar el árbol evolutivo exacto o los ancestros comunes entre tres o más modelos).

En resumen, MDIR ofrece un marco matemáticamente fundamentado, libre de inferencia y altamente preciso para verificar la procedencia de los pesos de los LLM, capaz de detectar sutiles relaciones evolutivas que los métodos anteriores de caja negra o basados en similitud pasan por alto.