LAMP: Extracting Local Decision Surfaces From Large Language Models

Resumo Técnico: LAMP (Local Attribution Mapping Probe)

1. O Problema: A Falta de Fidelidade nas Explicações de LLMs

Atualmente, os Grandes Modelos de Linguagem (LLMs) são frequentemente usados para gerar "racionais" (explicações em texto livre) que justificam suas previsões. No entanto, pesquisas recentes indicam que essas explicações podem ser enganosas ou não fiéis ao processo de decisão real do modelo (o modelo pode dar a resposta correta por motivos errados).

O desafio central é: como auditar um modelo de "caixa-preta" (onde não temos acesso aos gradientes ou pesos internos) para verificar se as razões que ele fornece são as mesmas que realmente direcionam suas decisões?

2. Metodologia: O Framework LAMP

Os autores propõem o LAMP, um método de auditoria que não tenta validar se a explicação textual é "verdadeira", mas sim se o modelo é consistente com ela. Em vez de olhar para o texto, o LAMP trata as explicações do próprio modelo como um sistema de coordenadas (dimensões) e estuda a geometria da superfície de decisão local.

O processo segue três etapas principais:

1. Extração de Explicações: O modelo é solicitado a classificar um texto e, simultaneamente, fornecer as probabilidades da classe e uma lista de fatores explicativos com seus respectivos pesos de importância ($w$).
2. Perturbação Estocástica: O framework aplica um "jitter" (ruído) aleatório aos pesos fornecidos pelo modelo. O modelo é então re-consultado com esses pesos alterados para observar como a probabilidade de previsão muda. Isso cria um conjunto de dados de "clones" do modelo com preferências ligeiramente diferentes.
3. Ajuste de um Modelo Substituto (Surrogate Model): Utiliza-se uma regressão linear para aproximar a superfície de decisão local. O modelo resultante ($\hat{y} = X\hat{\beta}$) revela quais "botões" (fatores) o modelo realmente responde e com qual intensidade ($\beta$).

Inovações Técnicas:

• Meta-agregação: Para evitar a alta dimensionalidade de listas longas de fatores, o LAMP usa o próprio LLM para consolidar dezenas de fatores em um conjunto menor de temas (ex: 5 fatores principais), aumentando a estabilidade estatística.
• Cálculo do Raio de Perturbação Ótimo ($\delta^*$): Utilizando uma expansão de Taylor de segunda ordem, o método calcula matematicamente o tamanho ideal do ruído para garantir que a aproximação linear seja válida, evitando a curvatura da superfície de decisão.

3. Principais Contribuições

• Método Agnóstico ao Modelo: Funciona inteiramente via API (caixa-preta), sem necessidade de acesso a gradientes, logits ou ativações internas.
• Auditoria de Consistência: Fornece uma métrica quantitativa para saber se as justificativas de um modelo são "controles reais" que, se alterados, mudam a decisão.
• Interpretabilidade Estruturada: Diferente de métodos como LIME (que foca em tokens individuais), o LAMP foca em conceitos semânticos extraídos pelo próprio modelo, tornando a análise mais humana e compreensível.

4. Resultados Experimentais

Os autores testaram o LAMP em tarefas de análise de sentimento (IMDB), detecção de temas controversos e auditoria de segurança (Pseudo-Harmful e HateBenchSet), além de um caso clínico de gastroenterologia.

• Qualidade do Ajuste ($R^2$): Os modelos substitutos conseguiram explicar uma parte significativa da variância das decisões, mostrando que as superfícies de decisão dos LLMs possuem, de fato, uma estrutura local linear.
• Consistência de Previsão: Ao reescrever textos para refletir as perturbações de peso (em vez de apenas mudar números), o LAMP demonstrou alta capacidade de prever a nova probabilidade que o LLM reportaria, superando baselines e métodos como LIME.
• Validação por Especialistas: No domínio médico, os coeficientes do LAMP mostraram uma concordância significativa com o julgamento de médicos especialistas, provando sua utilidade como ferramenta de suporte à decisão.
• Comparação com Métodos de Caixa-Branca: O LAMP mostrou-se competitivo até mesmo com métodos que possuem acesso a gradientes (como Integrated Gradients), operando com uma vantagem de acessibilidade muito maior.

5. Significância e Aplicações

O LAMP representa um avanço na IA Explicável (XAI) para modelos proprietários (como GPT-4 ou Claude). Sua importância reside na capacidade de permitir que reguladores, médicos e desenvolvedores auditem a confiabilidade de modelos de alto risco sem precisar "abrir a caixa" do modelo. Ele transforma explicações de texto subjetivas em um mapa geométrico objetivo, permitindo verificar se um modelo é verdadeiramente consistente com o que ele afirma estar pensando.