Imagine que você está tentando descobrir se um novo livro misterioso foi escrito pelo mesmo autor de um clássico famoso que você ama. No mundo da inteligência artificial, este é um problema enorme. Temos cérebros computacionais gigantes chamados Grandes Modelos de Linguagem (LLMs) que escrevem histórias, resolveem problemas matemáticos e conversam conosco. Mas esses modelos são frequentemente ajustados, misturados ou reduzidos para rodar em dispositivos menores. Às vezes, as pessoas pegam um modelo protegido, alteram-no ligeiramente e o vendem como seu, sem permissão. Para pegá-los, precisamos provar a "árvore genealógica" do modelo — sua procedência.

A parte difícil é que esses modelos de IA são como camaleões. Se você fizer a mesma pergunta de uma forma ligeiramente diferente, ou se o modelo tiver sido ajustado para ser mais rápido, ele pode dar uma resposta completamente diferente, mesmo sendo o mesmo "cérebro" por baixo. Métodos anteriores tentaram capturar esses modelos observando as palavras exatas que eles escolhiam, mas isso é como tentar identificar uma pessoa apenas pela sua roupa; se ela trocar de roupa, você pode não reconhecê-la. Os cientistas precisavam de uma maneira de olhar além da superfície e ver a estrutura profunda e imutável de como o modelo pensa.

É aqui que uma equipe da Universidade de Oxford entra com uma ideia inteligente chamada Stemma. Pense nisso como um detetive que para de perguntar "O que você vestiu hoje?" e começa a perguntar "Se eu te mostrar um menu com quatro opções, qual delas você escolhe?". Os pesquisadores perceberam que, mesmo que uma IA mude sua personalidade ou sua linguagem, ela ainda tende a escolher a mesma categoria de resposta quando confrontada com uma escolha específica. Eles chamam essas preferências ocultas de "regiões de decisão induzidas".

A equipe testou isso criando um sistema de impressão digital que não se importa com as palavras sofisticadas que uma IA usa, mas foca nas escolhas que ela faz. Eles descobriram que, se dois modelos são relacionados (como um pai e um filho), eles quase sempre escolherão a mesma opção de uma lista de escolhas, mesmo que a lista seja embaralhada ou o modelo seja implantado em um cenário totalmente diferente. Modelos não relacionados, no entanto, tendem a escolher opções diferentes. Ao testar essa "consistência de escolha" através de centenas de modelos diferentes e milhares de perguntas, o Stemma provou ser incrivelmente bom em detectar laços familiares. Em seus testes, identificou corretamente modelos relacionados 96,7% das vezes e conseguiu detectar um modelo relacionado mesmo quando havia apenas 1% de chance de um alarme falso. É uma maneira robusta de dizer: "Sim, este novo modelo suspeito é definitivamente relacionado àquele original", sem precisar ver o código secreto do modelo.

A Nova Lupa do Detetive

Então, como isso realmente funciona? O artigo introduz o conceito de Regiões de Decisão Induzidas. Imagine que você tem uma sala gigante e bagunçada cheia de possibilidades infinitas (é como a IA geralmente funciona). É difícil dizer se duas pessoas estão na mesma sala se elas estiverem apenas vagando por ela. Mas e se você colocar uma cerca no meio da sala e pedir a todos que escolham um lado? De repente, você tem uma "região de decisão" clara.

Os pesquisadores perceberam que, embora os modelos de IA possam ser imprevisíveis com perguntas abertas, eles são surpreendentemente consistentes quando forçados a fazer uma escolha entre opções específicas, como um teste de múltipla escolha. Eles chamam a área onde um modelo escolhe consistentemente uma resposta específica de sua "região de decisão induzida".

O artigo argumenta que os métodos anteriores focavam demais na "forma de superfície" — as palavras exatas que a IA cospe. Se você pedir a uma IA para "escrever um poema sobre um gato" e depois pedir para "compor um verso sobre um felino", um modelo relacionado pode te dar dois poemas muito diferentes, fazendo com-nos parecer não relacionados. Mas se você perguntar a ambos: "A resposta é A, B, C ou D?", eles provavelmente apontarão para a mesma letra, mesmo que expliquem de formas diferentes. O Stemma ignora a poesia e olha apenas para a letra.

As Três Regras do Jogo

Para construir sua impressão digital, a equipe não apenas escolheu perguntas aleatórias. Eles tiveram que ser inteligentes sobre isso. Eles criaram um sistema que seleciona perguntas baseando-se em três regras estritas, que chamam de Estabilidade, Robustez e Especificidade.

1. Estabilidade: Imagine que você tem uma pergunta com quatro respostas: A, B, C e D. Se você embaralhar a ordem para que as respostas sejam D, C, B, A, um modelo estável deve ainda escolher a mesma ideia, mesmo que a letra mude. O Stemma só utiliza perguntas onde o modelo é consistente, não importa como você embaralhe o baralho.
2. Robustez: Isso é sobre ter certeza da sua escolha. Se um modelo estiver pairando no limite entre duas respostas, uma pequena mudança no sistema pode fazê-lo mudar de ideia. O Stemma procura perguntas onde o modelo está confiante em um canto da sala de decisão, longe das paredes.
3. Especificidade: Esta é a parte mais importante. Você não quer uma pergunta onde todos os modelos escolham a mesma resposta (como "O céu é azul?"). Isso não é uma impressão digital; é apenas senso comum. O Stema procura perguntas onde o modelo original escolhe uma resposta específica que outros modelos não relacionados geralmente erram. Se o modelo suspeito também escolhe essa resposta rara e específica, é um forte sinal de que eles são relacionados.

O Grande Teste

Os pesquisadores colocaram o Stema à prova com um experimento massivo. Eles reuniram 56 modelos de IA públicos (as "fontes") e criaram 770 pares de suspeitos. Alguns suspeitos eram cópias diretas, outros eram versões ajustadas (fine-tuned), alguns foram fundidos com outros modelos e alguns eram completamente diferentes. Eles também testaram 1.260 pares onde os modelos foram implantados de diferentes maneiras, como alterando as configurações de temperatura ou adicionando instruções de interpretação de papéis (role-play).

Os resultados foram impressionantes. O Stemma alcançou um AUC de 0,967 (uma pontuação onde 1,0 é perfeito) e conseguiu identificar um modelo relacionado 87,8% das vezes, mantendo os alarmes falsos em apenas 1%. Quando testaram em modelos que foram implantados em vários cenários do mundo real (como adicionar um prompt de "segurança" ou mudar a forma como o modelo pensa passo a passo), a pontuação subiu ainda mais para 0,995 AUC.

Compare isso com os outros métodos que testaram (como LLMmap, LLMPrint e outros). Esses métodos tiveram dificuldades, muitas vezes não performando melhor do que um palpite aleatório quando os modelos eram ajustados ou implantados de forma diferente. O artigo sugere que esses métodos antigos dependem demais das palavras específicas que a IA gera, que mudam facilmente. O Stemma, ao focar nas regiões de decisão subjacentes, permanece constante.

O Que Isso Significa (e o Que Não Significa)

O artigo é muito claro sobre o que o Stemma é e o que não é. Ele é um método de caixa-preta (black-box), o que significa que você não precisa ver o código interno ou os pesos do modelo; você apenas faz perguntas e observa o que ele escolhe. Isso o torna prático para auditorias no mundo real.

No entanto, os autores são cuidadosos ao não chamar o Stemma de uma solução mágica. Eles observam que o Stemma fornece evidência estatística, não prova absoluta. É como um teste de DNA que diz: "Há 99% de chance de que estes dois sejam relacionados", mas não é um veredito judicial por si só. Eles também alertam que, se um atacante soubesse exatamente quais perguntas o Stema está usando, poderia potencialmente treinar seu modelo para enganar essas perguntas específicas. Mas, como o Stema utiliza um enorme conjunto de perguntas e seleciona as melhores sobre a hora, isso é difícil de fazer.

O artigo também destaca uma limitação: o Stemma atualmente depende de perguntas de múltipla escolha. Se um modelo for fraco demais para entender um formato de múltipla escolha, este método pode não funcionar. Mas para a grande maioria dos modelos capazes que existem por aí, esta nova abordagem de mapear o caos de respostas abertas em um espaço de decisão finito parece ser a chave para desbloquear a verdadeira árvore genealógica dos modelos de IA.

No fim, o Stemma é um lembrete de que, embora os modelos de IA possam usar muitas máscaras e falar com muitas vozes, sua lógica central deixa uma impressão digital que é surpreendentemente difícil de apagar. Ao fazer as perguntas certas e olhar além da superfície, podemos finalmente começar a ver quem realmente escreveu o código.