🤖 AI

LLM DNA: Tracing Model Evolution via Functional Representations

Este artículo presenta "ADN de LLM", un marco fundamentado matemáticamente y libre de entrenamiento que extrae representaciones funcionales de baja dimensión para rastrear relaciones evolutivas no documentadas y construir árboles filogenéticos en cientos de modelos de lenguaje grandes.

Autores originales: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Publicado 2026-05-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de los Modelos de Lenguaje Grande (LLMs) como una biblioteca masiva y caótica que contiene millones de libros. Algunos libros son obras maestras originales, algunos son copias, algunos son resúmenes y algunos son versiones reescritas con nuevos capítulos añadidos. El problema es que la biblioteca no tiene un catálogo claro. No siempre sabemos qué libro fue copiado de cuál, ni cómo un libro evolucionó en otro. Esto dificulta verificar si un libro sigue las reglas (licencias), detectar si una idea peligrosa (como una vulnerabilidad de seguridad) fue copiada de un libro malo, o entender cómo está creciendo la biblioteca.

Este artículo, titulado "LLM DNA", propone una solución inspirada en la biología: otorgar a cada modelo de IA su propio código genético único.

La Idea Central: Genética de la IA

Al igual que el ADN biológico nos dice quiénes son tus padres y qué rasgos heredaste, los autores quieren crear un "ADN" para los modelos de IA que revele su historia familiar y su personalidad funcional.

Definen este ADN de LLM como una lista corta y compacta de números (un vector) que actúa como una huella dactilar. Si dos modelos están relacionados (por ejemplo, uno es una versión ajustada del otro), sus ADN deberían verse muy similares. Si no están relacionados, sus ADN deberían verse muy diferentes.

Cómo Funciona (El Pipeline "RepTrace")

Los autores construyeron una herramienta llamada RepTrace para extraer este ADN. Aquí está el proceso, explicado de forma sencilla:

La Prueba de Manejo: En lugar de examinar el código interno del modelo (que a menudo está oculto o es diferente para cada modelo), tratan el modelo como una caja negra. Le alimentan un conjunto de preguntas o indicaciones aleatorias (como una prueba de manejo).
La Reacción: Registran cómo responde el modelo.
La Traducción: Convierten estas respuestas de texto en un "mapa semántico" (una representación matemática del significado). Por ejemplo, las palabras "vacaciones" y "feriado" son diferentes cadenas de letras, pero el sistema de ADN entiende que significan lo mismo.
La Compresión: Utilizan un truco matemático (proyección aleatoria) para comprimir esta enorme cantidad de información en una lista pequeña y manejable de números. Esta lista es el ADN.

Crucialmente, este proceso es libre de entrenamiento. No necesitas enseñarle al sistema cómo encontrar el ADN; simplemente lo calcula basándose en cómo se comporta el modelo.

Lo Que Descubrieron

Los investigadores probaron esto en 305 modelos de IA diferentes de varias empresas (como Meta, Google y Alibaba). Esto es lo que encontraron:

Árboles Genealógicos: Cuando compararon el ADN de diferentes modelos, pudieron dibujar un "árbol genealógico" (árbol filogenético). Este árbol agrupó correctamente a los modelos de la misma familia (como todos los modelos "Llama") juntos, incluso aunque los investigadores no le dijeron al sistema a qué familia pertenecía cada modelo.
Conexiones Ocultas: El ADN reveló relaciones que no estaban documentadas oficialmente. Por ejemplo, mostró que algunos modelos que afirmaban basarse en una versión de una familia estaban en realidad más cerca de una versión diferente, o que dos modelos de diferentes empresas eran sorprendentemente similares en su "genética".
Velocidad de Evolución: Al observar las ramas del árbol genealógico, pudieron ver qué familias de modelos estaban evolucionando más rápido que otras. Algunas familias (como Qwen) mostraron cambios rápidos, mientras que otras (como Llama) fueron más estables.
Robustez: El ADN permaneció consistente incluso si cambiaban las preguntas formuladas o usaban diferentes tipos de modelos para leer las respuestas. Es como una huella dactilar que permanece igual si presionas tu dedo suavemente o con fuerza.

Por Qué Esto Importa (Según el Artículo)

Los autores sugieren que este "ADN" puede usarse para tres cosas prácticas principales:

Verificación de Licencias: Puede ayudar a verificar si un nuevo modelo fue copiado ilegalmente de uno protegido, incluso si los creadores no lo admitieron.
Auditoría de Seguridad: Si un modelo "padre" tiene una vulnerabilidad de seguridad (como una puerta trasera), es probable que sus "hijos" (descendientes) también la tengan. El árbol de ADN ayuda a los auditores a detectar rápidamente estas líneas de descendencia riesgosas.
Selección de Modelos: Ayuda a los usuarios a elegir el modelo adecuado. Si necesitas un modelo que sea muy estable y no cambie su comportamiento con frecuencia, eliges una rama con pasos evolutivos cortos. Si quieres las características más recientes y experimentales, eliges una rama con evolución rápida.

La Conclusión

El artículo argumenta que podemos probar matemáticamente que este "ADN" existe y que captura fielmente la esencia de cómo se comporta una IA. Al convertir modelos de IA complejos y opacos en códigos genéticos simples y comparables, finalmente podemos comenzar a mapear, gestionar y comprender el ecosistema en explosión de la inteligencia artificial.

Resumen Técnico: ADN de LLM: Rastreando la Evolución de Modelos mediante Representaciones Funcionales

Declaración del Problema

La rápida proliferación de los Modelos de Lenguaje Grande (LLM) ha creado un vasto y opaco paisaje donde existen millones de modelos con relaciones evolutivas no documentadas. Rastrear cómo evolucionan los modelos mediante ajuste fino, destilación o adaptación es crítico para la auditoría de seguridad (por ejemplo, rastrear la transferencia de puertas traseras), la gobernanza de modelos (por ejemplo, verificar el cumplimiento de licencias) y el diseño de sistemas multiagente. Sin embargo, los métodos existentes para definir el "ADN de LLM" sufren limitaciones significativas:

Especificidad de Tarea: Muchos enfoques comprimen los modelos en representaciones optimizadas para tareas específicas (por ejemplo, enrutamiento o aprendizaje por conjuntos), fallando al generalizar entre tareas o capturar características intrínsecas del modelo.
Conjuntos Fijos: Algunos métodos agnósticos a la tarea (por ejemplo, EmbedLLM) definen representaciones relativas a un conjunto fijo de modelos, lo que significa que la representación cambia a medida que se agregan nuevos modelos, impidiendo que sea una propiedad intrínseca de un solo modelo.
Dependencia Estructural: Los métodos de procedencia que dependen de la similitud de tokens o la correlación de parámetros a menudo fallan al generalizar entre LLMs heterogéneos con diferentes arquitecturas y tokenizadores.

Existe una falta de un marco formal y principiado para definir y extraer un "ADN" intrínseco y estable que capture el comportamiento funcional y la línea evolutiva de los LLM.

Metodología

El artículo propone ADN de LLM, un marco formal que define matemáticamente y extrae una representación de baja dimensión del comportamiento funcional de un LLM, análogo al ADN biológico.

1. Fundamento Teórico

Los autores definen formalmente un LLM como una función que mapea secuencias de entrada discretas a vectores de logits continuos. Definen el ADN de LLM como un vector de baja dimensión $\tau_f$ obtenido mediante un mapeo bi-Lipschitz desde el espacio funcional del LLM $\mathcal{F}$ hacia un espacio de ADN $\mathcal{D}$ .

Condición Bi-Lipschitz: El mapeo asegura que la distancia entre dos vectores de ADN esté acotada por la distancia funcional entre los modelos correspondientes ( $c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$ ).
Propiedades: Esta definición garantiza matemáticamente dos propiedades clave:
- Herencia: Pequeñas perturbaciones en un modelo (por ejemplo, ajuste fino) resultan en pequeños cambios en su ADN.
- Determinismo Genético: Los modelos con ADN similar exhiben comportamientos funcionales similares.
Prueba de Existencia: Utilizando el Lema de Johnson–Lindenstrauss (JL), los autores demuestran que tal incrustación de baja dimensión existe para cualquier conjunto finito de LLM, preservando la geometría del espacio funcional.

2. Pipeline de Extracción Práctica: RepTrace

Para extraer el ADN de LLM en la práctica sin entrenamiento, los autores introducen RepTrace, un pipeline escalable y sin entrenamiento:

Representación Semántica: En lugar de comparar cadenas crudas, el pipeline utiliza un modelo de incrustación de oraciones para convertir las respuestas del modelo en vectores semánticos. Esto maneja la equivalencia semántica (por ejemplo, "vacaciones" vs. "feriado") y funciona con APIs de código cerrado.
Distancia Funcional Estocástica: Dado que evaluar todo el espacio de entrada es inviable, el método aproxima la distancia funcional utilizando una Distancia Funcional Estocástica. Esto implica muestrear un conjunto de prompts representativos, recopilar respuestas y calcular la distancia euclidiana esperada entre las incrustaciones semánticas concatenadas de las salidas.
Proyección Aleatoria: Aprovechando la idea teórica del Lema JL, la representación funcional de alta dimensión se proyecta en un vector de ADN de baja dimensión utilizando una proyección lineal gaussiana aleatoria. Este paso es computacionalmente eficiente y no requiere entrenamiento específico de tareas.

Contribuciones Clave

Definición Formal y Prueba de Existencia: El artículo proporciona la primera definición matemática formal del ADN de LLM como una representación bi-Lipschitz y prueba su existencia utilizando el Lema JL.
Marco de Extracción sin Entrenamiento: Propone RepTrace, un pipeline general y escalable que extrae ADN de LLMs heterogéneos (arquitecturas, tokenizadores y tamaños variables) sin requerir reentrenamiento ni acceso a parámetros internos.
Validación Empírica: Experimentos extensos en 305 LLM demuestran que el ADN de LLM detecta eficazmente relaciones evolutivas, superando a las líneas base existentes en tareas de detección de relaciones y enrutamiento de modelos.
Análisis Evolutivo: Los autores construyen un árbol filogenético de LLM basado en distancias de ADN, revelando cambios arquitectónicos (de codificador-decodificador a solo decodificador), progresión temporal y relaciones de linaje previamente no documentadas.

Resultados Experimentales

Detección de Relaciones: En un conjunto de datos de 305 modelos, el ADN de LLM logró un AUC de 0.992 para detectar pares de modelos correlacionados frente a independientes, superando significativamente a líneas base como Random, Greedy y PhyloLM (AUC 0.788).
Enrutamiento de Modelos: En una tarea de enrutamiento de modelos sin entrenamiento, los vectores de ADN de LLM congelados superaron a las incrustaciones aprendidas por EmbedLLM (0.672 de precisión frente a 0.665), demostrando que el ADN captura propiedades funcionales intrínsecas sin optimización específica de tareas.
Estabilidad: La representación de ADN demostró ser robusta en diferentes conjuntos de datos (correlación de prueba de Mantel $r > 0.75$ ), entradas aleatorias y variaciones en plantillas de chat. También mostró que el ajuste fino altera los valores de ADN de manera monótona con el tamaño de los datos mientras preserva el patrón estructural global.
Perspectivas Filogenéticas: El árbol evolutivo construido se alineó correctamente con cambios arquitectónicos conocidos y cronologías de lanzamiento. También identificó relaciones no documentadas, como agrupar a orca-2-13b de Microsoft y vicuna-7b-v1.1 de LMSYS dentro de clústeres basados en Llama, sugiriendo sus modelos base a pesar de una documentación vaga.

Significado y Afirmaciones

El artículo afirma que el ADN de LLM proporciona un marco principiado y basado en datos para comprender el ecosistema de LLM. Su significado radica en:

Gobernanza y Seguridad: Ofrecer un método funcional para verificar el linaje de modelos, lo cual es crucial para hacer cumplir el cumplimiento de licencias y rastrear la propagación de riesgos de seguridad (por ejemplo, puertas traseras) desde modelos ancestros a descendientes.
Escalabilidad: A diferencia de métodos anteriores que requieren reentrenamiento o conjuntos de modelos fijos, RepTrace permite la extracción inmediata de ADN para nuevos modelos, apoyando la naturaleza dinámica del paisaje de LLM.
Perspectiva Evolutiva: Al tratar a los LLM como especies en evolución, el marco permite la visualización de la historia del campo, revelando velocidades evolutivas distintas entre familias (por ejemplo, Qwen y Gemma evolucionan más rápido que Llama) y descubriendo conexiones ocultas que los metadatos por sí solos no pueden revelar.

Los autores enfatizan que, aunque la definición actual no asigna un significado matemático específico a las subsecuencias de ADN, las propiedades observadas de estabilidad e herencia proporcionan una base sólida para trabajos futuros en gestión de modelos, mitigación de riesgos y modificación dirigida de comportamientos de LLM.