Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
Este estudo de mapeamento sistemático analisa 1.252 artigos de pesquisa sobre métodos de explicabilidade para grandes modelos de linguagem, revelando que a maioria das técnicas requer dados internos inacessíveis do modelo e que as evidências relativas à utilidade humana e à implementação no mundo real permanecem criticamente escassas.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Nos últimos anos, um novo tipo de programa de computador remodelou a forma como interagimos com a tecnologia. Esses sistemas, conhecidos como modelos de linguagem de grande escala, podem escrever histórias, resolver problemas matemáticos e manter conversas que parecem notavelmente humanas. Eles funcionam prevendo a próxima palavra em uma frase, camada sobre camada, até que um pensamento completo emerja. Mas, como esses programas são construídos com bilhões de configurações ajustáveis, seus mecanismos internos são frequentemente um mistério. Quando tal sistema fornece uma resposta, é difícil saber se essa resposta veio de uma compreensão profunda dos fatos ou simplesmente de um palpite inteligente baseado em padrões que ele viu antes. Essa incerteza criou uma necessidade premente de explicabilidade: a capacidade de olhar dentro da máquina e entender por que ela fez uma escolha específica. Pesquisadores estão tentando construir ferramentas que possam rastrear uma decisão até sua origem, revelando a lógica, os dados ou as partes específicas do cérebro do computador que levaram ao resultado final.
Uma equipe de pesquisadores da Universidade de Pireu, na Grécia, deu um passo massivo em direção ao esclarecimento deste campo. Eles realizaram um levantamento abrangente de quase 8.000 relatórios científicos publicados entre 2019 e agosto de 2026, reduzindo-os a 1.252 estudos que tentavam especificamente explicar como esses modelos de linguagem de grande escala funcionam. O objetivo deles não era inventar um novo método, mas mapear todo o cenário de métodos existentes. Eles queriam ver que tipos de explicações os cientistas estão construindo, quais partes do computador eles têm permissão para observar e se essas explicações realmente ajudam as pessoas a entender a máquina ou se apenas parecem convincentes. Para gerenciar essa tarefa enorme, os pesquisadores utilizaram um sistema de inteligência artificial cuidadosamente projetado para ler e categorizar cada artigo, com especialistas humanos verificando o trabalho para garantir a precisão.
A descoberta mais marcante de seu mapa é uma incompatibilidade fundamental entre as ferramentas que os cientistas estão construindo e a realidade de como esses modelos são usados hoje. A vasta maioria dos métodos que encontraram — quase 70 por cento — exige acesso profundo e interno ao cérebro do computador. Para usar essas ferramentas, um pesquisador precisa ver os números brutos fluindo pelo sistema ou até mesmo alterar as configurações do modelo em si. No entanto, os modelos de linguagem mais poderosos que as pessoas usam todos os dias são hospedados por empresas como serviços fechados. Os usuários podem enviar uma mensagem e receber uma resposta, mas não podem ver os números internos ou alterar as configurações. Isso significa que as formas mais sofisticadas de explicar esses modelos são efetivamente inúteis para os próprios sistemas onde as pessoas mais precisam de explicações. Apenas cerca de 23 por cento dos estudos descreveram métodos que poderiam funcionar com o acesso limitado disponível ao público, como apenas ler a saída de texto ou as pontuações de probabilidade da próxima palavra.
Os pesquisadores também observaram o que essas explicações estavam realmente provando. Eles descobriram que a maioria dos estudos focava em "fidelidade" (faithfulness), que é uma forma técnica de perguntar se a explicação realmente corresponde à lógica interna do computador. Cerca cerca de 70 por cento dos artigos tentaram mostrar que seu método identificava corretamente a causa de uma decisão. No entanto, o estudo descobriu que muito poucos pesquisadores testaram se essas explicações eram realmente úteis para seres humanos. Apenas cerca de 3 por cento dos estudos envolveram pessoas reais testando as explicações para ver se elas as ajudavam a tomar melhores decisões, entender o sistema ou confiar no resultado. É como se engenheiros tivessem passado anos aperfeiçoando o mapa dos túneis subterrâneos de uma cidade, mas nunca tivessem perguntado a um passageiro se o mapa o ajuda a encontrar seu caminho.
Outra lacuna significativa apareceu na forma como os pesquisadores testaram suas ideias. Embora muitos estudos alegassem que seus métodos eram robustos, menos de um terço deles utilizou um grupo de controle rigoroso para provar que seus resultados não eram apenas fruto do acaso. Além disso, a conexão com regras e regulamentações do mundo real era quase inexistente. Apesar da menção frequente a leis relativas à transparência da inteligência artificial, apenas um pequeno número de estudos realmente vinculou seus métodos técnicos a requisitos legais específicos. Os pesquisadores observaram que, embora o campo esteja crescendo rapidamente, com quase metade dos estudos incluídos publicados apenas no último ano, ele permanece fortemente focado em modelos de código aberto que qualquer um pode baixar, em vez dos sistemas proprietários e fechados que dominam o mercado.
O estudo conclui que o campo da explicação de modelos de linguagem de grande escala está em uma encruzilhada. As ferramentas atualmente disponíveis são poderosas, mas frequentemente inacessíveis, e priorizam a correção técnica sobre a utilidade humana. Os pesquisadores sugerem que o trabalho futuro deve focar na criação de métodos que funcionem com o acesso limitado fornecido pelos serviços comerciais e no teste dessas explicações com pessoas reais. Até lá, as explicações mais avançadas permanecem trancadas nos laboratórios de pesquisadores que têm acesso total às máquinas, deixando o público geral com sistemas que são cada vez mais poderosos e cada vez mais difíceis de compreender.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.