Probabilistic Attribution For Large Language Models

Resumo Técnico: Atribuição Probabilística para Modelos de Linguagem Grandes

Declaração do Problema
A natureza generativa dos Modelos de Linguagem Grandes (LLMs) baseia-se no cálculo de probabilidades condicionais para amostrar tokens de resposta com base no contexto anterior. Embora esses modelos estejam cada vez mais implantados em domínios de alto risco, sua natureza de "caixa preta" complica a avaliação da validade da saída, da incerteza e da influência específica dos tokens de entrada nas respostas geradas. Os métodos existentes de Inteligência Artificial Explicável (XAI) frequentemente se enquadram em duas categorias: abordagens específicas do modelo (por exemplo, mapas de saliência baseados em gradientes) que exigem acesso à arquitetura interna, e abordagens agnósticas ao modelo (por exemplo, SHAP, LIME) que dependem de perturbação de entrada-saída, mas podem carecer de estabilidade ou fidelidade causal. Há uma necessidade de um método que interprete o comportamento do LLM através da lente dos primeiros princípios estatísticos, independente da estrutura computacional subjacente, para compreender melhor a sensibilidade dos tokens, a estabilidade do modelo e a convergência do treinamento.

Metodologia
Os autores situam a inferência de LLMs dentro da teoria matemática dos processos estocásticos. Neste quadro, um LLM é visto como definindo uma distribuição de probabilidade sobre sequências de tokens, onde a medida de probabilidade é construída a partir dos dados de treinamento do modelo. O cerne da metodologia é a Pontuação de Atribuição (AS), uma métrica agnóstica ao modelo projetada para quantificar a importância de um token específico em um prompt dada uma resposta gerada.

A AS é derivada invertendo os log-probabilidades do próximo token usando a regra de Bayes. Especificamente, para um prompt $p$ e uma resposta $r$, a pontuação de atribuição $A_\mu$ para o $\mu$-ésimo token no prompt é definida como o log-ratio de duas probabilidades:

1. A probabilidade da resposta $r$ dado o prompt completo $p$.
2. A probabilidade da resposta $r$ dado o prompt com o $\mu$-ésimo token marginalizado (ou seja, $p$ onde $p_\mu$ é permitido assumir qualquer valor no vocabulário).

Matematicamente, $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$.

Como os LLMs não emitem diretamente probabilidades para sequências não contíguas ou marginalizadas, os autores derivam um método para reconstruir o denominador usando apenas as probabilidades condicionais padrão emitidas pelo modelo (Equações 4–9). Isso envolve somar sobre todos os tokens de vocabulário possíveis para a posição marginalizada, ponderados pela probabilidade do contexto restante.

Complementando a AS, os autores introduzem medidas de Entropia Contextual:

• Entropia Contextual Apenas do Prompt ($S^{(P)}$): A entropia da distribuição de tokens em uma posição específica condicionada apenas aos tokens restantes do prompt.
• Entropia Contextual Prompt + Resposta ($S^{(P+R)}$): A entropia condicionada tanto aos tokens restantes do prompt quanto à resposta gerada.
• Divergência KL: A divergência entre as distribuições de tokens sob os dois contextos, usada para detectar anomalias onde a resposta altera significativamente a incerteza do modelo sobre um token do prompt.

Além disso, a Entropia de Substituição é calculada medindo a distribuição de frequência de correspondências exatas de resposta quando os tokens do prompt são substituídos pelos 90% principais tokens candidatos, fornecendo uma medida empírica da estabilidade da resposta.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

1. Atribuição Agnóstica ao Modelo: A AS é aplicável a tarefas de geração de texto em qualquer LLM sem exigir acesso a pesos internos ou gradientes, dependendo exclusivamente dos log-probabilidades emitidos.
2. Design Livre de Parâmetros: O método não requer hiperparâmetros (diferentemente do LIME ou ReAgent), aprimorando a reprodutibilidade e a objetividade.
3. Métricas de Estabilidade e Convergência: As medidas de entropia contextual e de substituição servem como indicadores da estabilidade do modelo e do grau em que um modelo convergiu para a distribuição de seus dados de treinamento.
4. Sensibilidade Incorporada: Como o método está fundamentado em primeiros princípios estatísticos, a pontuação de atribuição avalia inerentemente a correção dos resultados explicáveis como parte de sua metodologia central.

Resultados Experimentais
Os autores avaliaram 8 LLMs (variando de 137M a 1,7B de parâmetros, incluindo variantes de GPT-2, GPT-Neo, Llama e Qwen) em 7 prompts envolvendo várias tarefas (por exemplo, compreensão de leitura, recuperação de fatos e consultas enganosas).

• Sensibilidade de Token: Valores altos de AS corresponderam a tokens que eram críticos para a resposta específica, enquanto valores negativos de AS indicaram tokens que o modelo preferiria substituir dado o contexto da resposta.
• Convergência do Modelo: A análise da entropia contextual revelou que modelos mais antigos (GPT-2, GPT-Neo) exibiram maior entropia em valores de AS próximos de zero em comparação com modelos modernos ajustados por instrução (por exemplo, Llama 3.1). Os autores interpretam alta entropia em AS próxima de zero como "tokens de ruído"—tokens que contribuem pouco para a probabilidade da resposta, mas permanecem não restringidos pelo contexto—sugerindo pior convergência de treinamento em modelos mais antigos.
• Detecção de Anomalias: O quadro identificou com sucesso anomalias específicas, como tokens onde o modelo preferia uma reformulação do prompt (por exemplo, preferindo "em" a "?" em uma pergunta específica) ou onde o contexto da resposta ampliou inesperadamente a distribuição de tokens (aumentando a entropia).
• Avaliação Contra Linhas de Base de XAI: A AS foi comparada com Input X Gradient, Gradient Shapley, LIME, Occlusion e ReAgent usando métricas como Infidelidade, Exclusão/NAOPC, Abrangência e Suficiência. A AS performou competitivamente, frequentemente igualando ou superando o desempenho de outros métodos, notando particularmente sua robustez em diferentes modelos sem ajuste específico da arquitetura.
• Custo Computacional: O método é computacionalmente intensivo, exigindo horas de GPU proporcionais ao tamanho do vocabulário devido à soma sobre todos os tokens de substituição possíveis. No entanto, os autores notam potencial para otimização restringindo as somações aos tokens de maior probabilidade.

Significância e Alegações
O artigo alega que, ao enquadrar os LLMs como processos estocásticos, fornece um quadro rigoroso e agnóstico ao modelo para interpretabilidade que evita suposições sobre "representação de conhecimento" interna. A significância reside na capacidade de:

• Quantificar a influência causal de tokens do prompt sobre respostas sem acessar os internals do modelo.
• Diagnosticar a qualidade do treinamento do modelo (convergência) através da análise de entropia, identificando "tokens de ruído" que indicam treinamento deficiente.
• Guiar usuários para partes incertas ou instáveis de uma geração, melhorando assim a interpretabilidade.
• Servir como uma linha de base livre de parâmetros para ajustar hiperparâmetros em outros métodos de XAI mais rápidos.

Os autores concluem que, embora a abordagem incorra em custos computacionais mais altos, ela oferece uma compreensão mais profunda e fundamentada estatisticamente do comportamento dos LLMs, permitindo a identificação de deficiências de treinamento e a engenharia de prompts para produzir respostas mais coerentes.