Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation

Imagine que você esteja tentando explicar um truque de mágica para um amigo cético. Você diz: "O mágico não apenas balançou uma varinha; ele usou uma alavanca oculta específica sob o palco". Mas então seu amigo pergunta: "Como sabemos que é aquela alavanca? E se eu procurar sob uma parte diferente do palco, ou usar uma lanterna diferente, ou pedir a um mágico diferente para verificar?" Se a sua explicação muda completamente dependendo de como você procura o segredo, você pode realmente chamar isso de um fato? Este é o cerne de um novo estudo no mundo da Inteligência Artificial (IA).

No campo da "interpretabilidade mecanística", cientistas tentam espiar dentro dos cérebros de IA (como o famoso modelo GPT-2) para encontrar os "circuitos" específicos — pequenas redes de conexões — que fazem a IA fazer o que faz. É como tentar mapear a fiação elétrica exata em uma casa para explicar por que uma luz acendeu. A União Europeia tem uma nova lei dizendo que, se uma IA tomar uma decisão de alto risco (como negar um empréstimo), a empresa deve apresentar um relatório explicando como a IA decidiu. A maneira óbvia de fazer isso é entregar um mapa dos circuitos internos da IA. Mas este artigo faz uma pergunta difícil: Se dois especialistas inteligentes usarem a mesma IA e as mesmas ferramentas, mas fizerem escolhas ligeiramente diferentes e razoáveis sobre como procurar os circuitos, eles encontrarão o mesmo mapa? Ou encontrarão duas histórias totalmente diferentes?

O autor deste artigo decidiu testar isso configurando um enorme experimento de "escolha sua própria aventura". Eles não apenas olharam para a IA uma vez; eles olharam para ela 15.840 vezes diferentes. Eles criaram uma grade de sete maneiras diferentes de analisar a IA, pegando cada configuração de todas as ferramentas existentes e publicadas. Eles perguntaram: "Se mudarmos a métrica, a semente (seed), o tamanho do circuito ou a forma como o testamos, a história que contamos sobre o céreção da IA permanece a mesma?"

A resposta, infelizmente, é um "Não" retumbante.

Quando os pesquisadores realizaram seu experimento, descobriram que a evidência é incrivelmente frágil. De todas as diferentes maneiras que poderiam ter analisado os dados, a história que contaram sobre o circuito da IA mudou para uma versão completamente diferente 73,2% das vezes. Isso significa que, se dois auditores olhassem para a mesma IA com as mesmas ferramentas, mas com configurações ligeiramente diferentes, eles provavelmente entregariam dois relatórios completamente diferentes. Mesmo quando tentaram ser super rigorosos e padronizar as escolhas mais importantes, a taxa de mudança caiu para apenas 59,4%.

Para garantir que isso não fosse apenas um acaso, eles verificaram se os circuitos que encontraram eram realmente a mesma coisa descrita com palavras diferentes. Não eram. Os circuitos eram estruturalmente quase inteiramente diferentes (compartilhando apenas cerca de 4% de suas partes) e funcionalmente não correlacionados. É como se um auditor tivesse encontrado um mapa da fiação da cozinha e o outro tivesse encontrado um mapa do encanamento, e ambos afirmassem: "Este é o segredo de como a casa funciona!"

O artigo também descobriu que uma das sete principais ferramentas que usaram para encontrar esses circuitos não funcionou de jeito nenhum na tarefa que estavam testando; ela travou imediatamente. Além disso, mais da metade das explicações potenciais foram descartadas porque não atendiam às regras estritas do teste.

Então, o que isso significa para o futuro? O autor não está dizendo que a IA está quebrada ou que não podemos entendê-la. Ele está dizendo que os "recibos" atuais que temos para provar como a IA funciona não estão prontos para serem entregues a um regulador governamental. Se você entregar a um juiz um mapa de circuito hoje, e um segundo juiz usar as mesmas ferramentas, mas um método ligeiramente diferente, ele pode descartar seu mapa e dizer: "Esta não é a explicação correta". A evidência, tal como está agora, falha no teste de ser confiável o suficiente para ser um documento legal. O estudo sugere que, antes de podermos confiar nessas explicações de IA em tribunais ou em verificações de segurança, precisamos descobrir como tornar os mapas estáveis, não importa quem esteja segurando a lanterna.