🤖 AI

LLM DNA: Tracing Model Evolution via Functional Representations

Este artigo apresenta o "LLM DNA", um framework sem treinamento e fundamentado matematicamente que extrai representações funcionais de baixa dimensão para rastrear relações evolutivas não documentadas e construir árvores filogenéticas em centenas de modelos de linguagem grandes.

Autores originais: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Publicado 2026-05-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo dos Modelos de Linguagem de Grande Escala (LLMs) como uma biblioteca massiva e caótica contendo milhões de livros. Alguns livros são obras-primas originais, alguns são cópias, alguns são resumos e alguns são versões reescritas com novos capítulos adicionados. O problema é que a biblioteca não possui um catálogo claro. Nem sempre sabemos qual livro foi copiado de qual, ou como um livro evoluiu para outro. Isso torna difícil verificar se um livro segue as regras (licenças), identificar se uma ideia perigosa (como uma falha de segurança) foi copiada de um livro ruim, ou entender como a biblioteca está crescendo.

Este artigo, intitulado "LLM DNA", propõe uma solução inspirada na biologia: atribuir a cada modelo de IA seu próprio código genético único.

A Ideia Central: Genética de IA

Assim como o DNA biológico nos diz quem são seus pais e quais características você herdou, os autores querem criar um "DNA" para modelos de IA que revele sua história familiar e personalidade funcional.

Eles definem esse DNA de LLM como uma lista curta e compacta de números (um vetor) que atua como uma impressão digital. Se dois modelos são relacionados (por exemplo, um é uma versão ajustada do outro), seus DNAs devem parecer muito semelhantes. Se não são relacionados, seus DNAs devem parecer muito diferentes.

Como Funciona (O Pipeline "RepTrace")

Os autores construíram uma ferramenta chamada RepTrace para extrair esse DNA. Aqui está o processo, explicado de forma simples:

O Teste de Direção: Em vez de examinar o código interno do modelo (que frequentemente está oculto ou é diferente para cada modelo), eles tratam o modelo como uma caixa preta. Eles alimentam-no com um conjunto de perguntas ou prompts aleatórios (como um teste de direção).
A Reação: Eles registram como o modelo responde.
A Tradução: Eles convertem essas respostas textuais em um "mapa semântico" (uma representação matemática do significado). Por exemplo, as palavras "férias" e "feriado" são sequências diferentes de letras, mas o sistema de DNA entende que significam a mesma coisa.
A Compressão: Eles usam um truque matemático (projeção aleatória) para espremer essa enorme quantidade de informações em uma lista pequena e gerenciável de números. Esta lista é o DNA.

Crucialmente, esse processo é livre de treinamento. Você não precisa ensinar ao sistema como encontrar o DNA; ele apenas o calcula com base no comportamento do modelo.

O Que Eles Descobriram

Os pesquisadores testaram isso em 305 modelos de IA diferentes de várias empresas (como Meta, Google e Alibaba). Eis o que encontraram:

Árvores Genealógicas: Ao comparar o DNA de diferentes modelos, eles puderam desenhar uma "árvore genealógica" (árvore filogenética). Essa árvore agrupou corretamente modelos da mesma família (como todos os modelos "Llama") juntos, mesmo que os pesquisadores não tivessem dito ao sistema a quais modelos pertencia cada família.
Conexões Ocultas: O DNA revelou relações que não estavam oficialmente documentadas. Por exemplo, mostrou que alguns modelos que afirmavam ser baseados em uma versão de uma família eram, na verdade, mais próximos de uma versão diferente, ou que dois modelos de empresas diferentes eram surpreendentemente semelhantes em sua "genética".
Velocidade de Evolução: Ao observar os ramos da árvore genealógica, puderam ver quais famílias de modelos estavam evoluindo mais rápido que outras. Algumas famílias (como Qwen) mostraram mudanças rápidas, enquanto outras (como Llama) eram mais estáveis.
Robustez: O DNA permaneceu consistente mesmo se eles alterassem as perguntas feitas ou usassem diferentes tipos de modelos para ler as respostas. É como uma impressão digital que permanece a mesma, seja você pressionando o dedo levemente ou com força.

Por Que Isso Importa (Segundo o Artigo)

Os autores sugerem que esse "DNA" pode ser usado para três coisas práticas principais:

Verificação de Licença: Pode ajudar a verificar se um novo modelo foi ilegalmente copiado de um modelo protegido, mesmo que os criadores não admitam.
Auditoria de Segurança: Se um modelo "pai" tiver uma falha de segurança (como uma porta dos fundos), seus "filhos" (descendentes) provavelmente também a terão. A árvore de DNA ajuda os auditores a identificar rapidamente essas linhagens arriscadas.
Seleção de Modelos: Ajuda os usuários a escolher o modelo certo. Se você precisa de um modelo muito estável que não altere seu comportamento frequentemente, você escolhe um ramo com passos evolutivos curtos. Se deseja os recursos mais recentes e experimentais, você escolhe um ramo com evolução rápida.

A Conclusão

O artigo argumenta que podemos provar matematicamente que esse "DNA" existe e que ele captura fielmente a essência de como uma IA se comporta. Ao transformar modelos de IA complexos e opacos em códigos genéticos simples e comparáveis, podemos finalmente começar a mapear, gerenciar e entender o ecossistema em explosão da inteligência artificial.

Resumo Técnico: DNA de LLM: Rastreamento da Evolução do Modelo via Representações Funcionais

Declaração do Problema

A proliferação rápida de Modelos de Linguagem de Grande Escala (LLMs) criou uma vasta e opaca paisagem onde milhões de modelos existem com relações evolutivas não documentadas. Rastrear como os modelos evoluem através de ajuste fino, destilação ou adaptação é crítico para auditoria de segurança (por exemplo, rastreamento de transferência de backdoor), governança de modelos (por exemplo, verificação de conformidade de licença) e design de sistemas multiagente. No entanto, os métodos existentes para definir "DNA de LLM" sofrem de limitações significativas:

Especificidade de Tarefa: Muitas abordagens comprimem modelos em representações otimizadas para tarefas específicas (por exemplo, roteamento ou aprendizado de conjunto), falhando em generalizar entre tarefas ou capturar características intrínsecas do modelo.
Conjuntos Fixos: Alguns métodos agnósticos à tarefa (por exemplo, EmbedLLM) definem representações relativas a um conjunto fixo de modelos, o que significa que a representação muda à medida que novos modelos são adicionados, impedindo que seja uma propriedade intrínseca de um único modelo.
Dependência Estrutural: Métodos de proveniência que dependem de similaridade de tokens ou correlação de parâmetros frequentemente falham em generalizar entre LLMs heterogêneos com diferentes arquiteturas e tokenizadores.

Há uma falta de um framework principiado e formal para definir e extrair um "DNA" estável e intrínseco que capture o comportamento funcional e a linhagem evolutiva de LLMs.

Metodologia

O artigo propõe DNA de LLM, um framework formal que define matematicamente e extrai uma representação de baixa dimensão do comportamento funcional de um LLM, análogo ao DNA biológico.

1. Fundamentação Teórica

Os autores definem formalmente um LLM como uma função mapeando sequências de entrada discretas para vetores de logits contínuos. Eles definem DNA de LLM como um vetor de baixa dimensão $\tau_f$ obtido via um mapa bi-Lipschitz do espaço funcional do LLM $\mathcal{F}$ para um espaço de DNA $\mathcal{D}$ .

Condição Bi-Lipschitz: O mapeamento garante que a distância entre dois vetores de DNA é limitada pela distância funcional entre os modelos correspondentes ( $c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$ ).
Propriedades: Esta definição garante matematicamente duas propriedades-chave:
- Herança: Pequenas perturbações em um modelo (por exemplo, ajuste fino) resultam em pequenas mudanças em seu DNA.
- Determinismo Genético: Modelos com DNA similar exibem comportamentos funcionais similares.
Prova de Existência: Usando o Lema de Johnson–Lindenstrauss (JL), os autores provam que tal incorporação de baixa dimensão existe para qualquer conjunto finito de LLMs, preservando a geometria do espaço funcional.

2. Pipeline de Extração Prática: RepTrace

Para extrair DNA de LLM na prática sem treinamento, os autores introduzem RepTrace, um pipeline escalável e livre de treinamento:

Representação Semântica: Em vez de comparar strings brutas, o pipeline usa um modelo de incorporação de sentenças para converter respostas do modelo em vetores semânticos. Isso lida com equivalência semântica (por exemplo, "feriado" vs. "férias") e funciona com APIs de código fechado.
Distância Funcional Estocástica: Como avaliar o espaço de entrada completo é inviável, o método aproxima a distância funcional usando uma Distância Funcional Estocástica. Isso envolve amostrar um conjunto de prompts representativos, coletar respostas e calcular a distância euclidiana esperada entre as incorporações semânticas concatenadas das saídas.
Projeção Aleatória: Aproveitando a percepção teórica do Lema JL, a representação funcional de alta dimensão é projetada em um vetor de DNA de baixa dimensão usando uma projeção linear gaussiana aleatória. Esta etapa é computacionalmente eficiente e não requer treinamento específico de tarefa.

Contribuições Principais

Definição Formal e Prova de Existência: O artigo fornece a primeira definição matemática formal de DNA de LLM como uma representação bi-Lipschitz e prova sua existência usando o Lema JL.
Framework de Extração Livre de Treinamento: Propõe RepTrace, um pipeline geral e escalável que extrai DNA de LLMs heterogêneos (variando arquiteturas, tokenizadores e tamanhos) sem exigir retreinamento ou acesso a parâmetros internos.
Validação Empírica: Experimentos extensivos em 305 LLMs demonstram que o DNA de LLM detecta efetivamente relações evolutivas, superando baselines existentes em tarefas de detecção de relacionamento e roteamento de modelos.
Análise Evolutiva: Os autores constroem uma árvore filogenética de LLMs baseada em distâncias de DNA, revelando mudanças arquiteturais (de codificador-decodificador para apenas decodificador), progressão temporal e relações de linhagem anteriormente não documentadas.

Resultados Experimentais

Detecção de Relacionamento: Em um conjunto de dados de 305 modelos, o DNA de LLM alcançou uma AUC de 0,992 para detectar pares de modelos correlacionados versus independentes, superando significativamente baselines como Random, Greedy e PhyloLM (AUC 0,788).
Roteamento de Modelo: Em uma tarefa de roteamento de modelo livre de treinamento, vetores de DNA de LLM congelados superaram incorporações aprendidas pelo EmbedLLM (0,672 de precisão versus 0,665), demonstrando que o DNA captura propriedades funcionais intrínsecas sem otimização específica de tarefa.
Estabilidade: A representação de DNA provou ser robusta entre diferentes conjuntos de dados (correlação do teste de Mantel $r > 0,75$ ), entradas aleatórias e variações em templates de chat. Também mostrou que o ajuste fino altera os valores de DNA monotonicamente com o tamanho dos dados, preservando o padrão estrutural global.
Insights Filogenéticos: A árvore evolutiva construída alinhou-se corretamente com mudanças arquiteturais conhecidas e cronologias de lançamento. Também identificou relações não documentadas, como o agrupamento do orca-2-13b da Microsoft e do vicuna-7b-v1.1 da LMSYS dentro de clusters baseados em Llama, sugerindo seus modelos base apesar de documentação vaga.

Significado e Alegações

O artigo alega que o DNA de LLM fornece um framework principiado e orientado por dados para entender o ecossistema de LLMs. Seu significado reside em:

Governança e Segurança: Oferecer um método funcional para verificar linhagem de modelos, o que é crucial para fazer cumprir conformidade de licença e rastrear a propagação de riscos de segurança (por exemplo, backdoors) de modelos ancestrais para descendentes.
Escalabilidade: Ao contrário de métodos anteriores que exigem retreinamento ou conjuntos de modelos fixos, o RepTrace permite a extração imediata de DNA para novos modelos, apoiando a natureza dinâmica da paisagem de LLMs.
Insight Evolutivo: Ao tratar LLMs como espécies em evolução, o framework permite a visualização da história do campo, revelando velocidades evolutivas distintas entre famílias (por exemplo, Qwen e Gemma evoluindo mais rápido que Llama) e descobrindo conexões ocultas que metadados sozinhos não podem revelar.

Os autores enfatizam que, embora a definição atual não atribua significado matemático específico a subsequências de DNA, as propriedades de estabilidade e herança observadas fornecem uma base sólida para trabalhos futuros em gerenciamento de modelos, mitigação de riscos e modificação direcionada de comportamentos de LLMs.