Resumo Técnico: Atribuições até o Infinito? O Metajogo da Interpretabilidade

Declaração do Problema

Métodos de atribuição são fundamentais para a interpretabilidade de aprendizado de máquina, quantificando como variáveis específicas (por exemplo, tokens de entrada, dados de treinamento) influenciam o comportamento do modelo. Embora métodos de primeira ordem (por exemplo, valores de Shapley, Gradientes Integrados, Atenção) sejam amplamente utilizados, eles são limitados a capturar a influência de variáveis únicas, frequentemente omitindo dinâmicas de ordem superior, como sinergias e antissinergias.

Métodos de interação existentes tentam abordar isso medindo influências de segunda ordem (por exemplo, interações de Shapley, Hessianos Integrados). No entanto, essas abordagens enfrentam limitações significativas:

1. Vazamento de Interação: Métodos seriados (aplicar um método de atribuição à sua própria saída) falham em separar limpiamente efeitos individuais puros de efeitos de interação, vazando termos de interação para componentes individuais.
2. Direcionalidade: Índices de interação baseados em conjuntos (por exemplo, interações de Shapley) tratam interações como subconjuntos não direcionados $\{i, j\}$, falhando em capturar a hierarquia direcional de como uma característica influencia a atribuição de outra.
3. Restrições Computacionais e Estruturais: Métodos que dependem de Hessianos de entrada exigem modificações arquitetônicas, incorrem em custos computacionais proibitivos para grandes entradas e frequentemente desaparecem em redes ReLU padrão.
4. Complexidade Combinatória: O número de termos de interação cresce combinatorialmente ($O(d^k)$), tornando interações de ordem superior difíceis de interpretar.

O artigo pergunta se um método de atribuição de primeira ordem arbitrário pode ser generalizado a partir de primeiros princípios para capturar interações de ordem superior sem essas limitações.

Metodologia: O Framework METAGAME

Os autores introduzem o METAGAME, um framework conceitual que trata o próprio método de atribuição como um jogo cooperativo para quantificar efeitos de interação de segunda ordem.

Conceito Central: Meta-Atribuições

Para qualquer atribuição de primeira ordem $\phi_i(f)$ que explica um modelo $f$, o framework define uma meta-atribuição $\phi_{j \to i}(f)$, representando a influência direcional da característica $j$ sobre a atribuição da característica $i$.

1. A Construção do Metajogo:

   • Em vez de avaliar o modelo $f$ diretamente, o framework avalia a atribuição de primeira ordem $\phi_i$ como a função de valor de um novo jogo cooperativo.
   • Os "jogadores" neste jogo são as características de entrada (ou tokens).
   • O valor de uma coalizão $S$ no metajogo é definido como a atribuição da característica $i$ quando as características em $S \cup \{i\}$ estão presentes e as outras estão mascaradas (usando uma linha de base).

2. Decomposição Direcional:

   • A meta-atribuição $\phi_{j \to i}$ é computada como o valor de Shapley da característica $j$ dentro deste metajogo, medindo estritamente a contribuição marginal de $j$ para $\phi_i$ dado que $i$ é fixo.
   • Eficiência Hierárquica: O framework prova que a atribuição original de primeira ordem é exatamente a soma de seu efeito individual puro e suas interações direcionais:
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • Esta decomposição isola efeitos individuais puros (termos diagonais) de efeitos de interação (termos fora da diagonal), resolvendo o vazamento observado em métodos seriados.

3. Unificação Teórica:

   • Os autores provam que índices de interação baseados em conjuntos existentes são implicitamente decomposições hierárquicas de atribuições de primeira ordem.
   • Especificamente, Valores Meta-Shapley são mostrados como as variantes direcionais do Índice de Interação Shapley-Taylor (STII), e Gradientes Integrados Meta são as variantes direcionais do Índice de Soma de Potência (SOP).
   • Diferentemente de métodos baseados em conjuntos, meta-atribuições preservam a direcionalidade (por exemplo, $\phi_{j \to i} \neq \phi_{i \to j}$ para métodos baseados em gradiente), revelando influências assimétricas.

Implementação Prática

O framework é projetado como um wrapper universal para métodos de atribuição existentes (por exemplo, AttnLRP, Grad-ECLIP, ConceptAttention).

• Eficiência: Para jogos pequenos ($d < 20$), valores de Shapley exatos são computados. Para jogos maiores, os autores recomendam aproximadores de última geração (por exemplo, amostragem Monte Carlo ou estimadores baseados em regressão da biblioteca shapiq).
• Transformadores: O método é adaptado para arquiteturas modernas agregando atribuições de tokens através de sequências geradas (para LLMs) ou computando interações cross-modais entre tokens de texto e patches de imagem (para codificadores visão-linguagem).

Contribuições Principais

1. Generalização Principiada: Um método para generalizar qualquer atribuição de primeira ordem para quantificar interações de segunda ordem via valor de Shapley, denominado meta-atribuições.
2. Decomposição Hierárquica: Uma perspectiva que navega pela complexidade combinatorial decompondo atribuições em interações direcionais, provando que índices existentes como interações de Shapley e Hessianos Integrados realizam implicitamente esta decomposição.
3. Extensão Direcional: A introdução do METAGAME e das meta-atribuições como um novo índice de interação direcional, provado ser uma extensão direcional de índices de interação baseados em conjuntos existentes (STII e SOP).
4. Validação Empírica: Demonstração da utilidade do framework em três domínios distintos de IA:
   • Quantificando interações de tokens em Modelos de Linguagem de Grande Escala (LLMs) ajustados por instruções.
   • Explicando similaridade cross-modais em codificadores visão-linguagem.
   • Interpretando conceitos texto-para-imagem em transformadores de difusão multimodais.

Resultados Experimentais

O artigo valida o METAGAME em três cenários de aplicação:

1. Modelos de Linguagem (Gemma 3):

   • Usando Meta-AttnLRP, o framework identifica interações direcionais de tokens (por exemplo, como "mel" influencia a atribuição de "manteiga" em um contexto vegano) que métodos de primeira ordem perdem.
   • Detecta que os modelos prestam mais atenção a "pulmonar" quando "embolia" está presente, enquanto remover "pulmonar" aumenta a importância de "embolia".
   • Avaliação quantitativa mostra melhoria no recall na detecção de interações de tokens rotuladas por humanos em comparação com baselines de primeira ordem.

2. Codificadores Visão-Linguagem (CLIP, SigLIP-2, MetaCLIP-2):

   • Meta-Grad-ECLIP e Meta-MaskSigLIP foram aplicados para explicar mapas de similaridade.
   • Na métrica de reconhecimento de interação de apontamento ImageNet-1k, meta-atribuições consistentemente superaram métodos de primeira ordem (Atenção, MaskCLIP, Grad-ECLIP) e até a baseline de segunda ordem caixa-preta FIxLIP.
   • Notavelmente, Meta-MaskSigLIP alcançou a maior fidelidade para SigLIP-2, e Meta-Atenção superou Meta-Grad-ECLIP no grande modelo MetaCLIP-2.

3. Transformadores de Difusão Multimodais (FLUX.1):

   • Meta-ConceptAttention foi usado para interpretar conceitos na geração texto-para-imagem.
   • O método aliviou a limitação de dependência de contexto do ConceptAttention original.
   • Nos benchmarks de segmentação Pascal VOC e MS COCO, Meta-ConceptAttention dominou em Pareto o método original em métricas de precisão, mIoU e mAP, mesmo com o aumento do número de conceitos em contexto.

Significado e Afirmações

O artigo afirma que o framework METAGAME oferece um caminho matematicamente principiado para entender interações de segunda ordem sem os problemas de vazamento e direcionalidade de métodos anteriores. Ao tratar atribuições como jogos cooperativos, ele preenche a lacuna entre princípios teóricos de jogos discretos e a dinâmica contínua de métodos modernos de interpretabilidade.

Os autores posicionam este trabalho como um passo rumo a sistemas de aprendizado de máquina mais credíveis. Eles enfatizam que, embora o framework aumente o custo computacional e a carga cognitiva, ele fornece uma decomposição hierárquica rigorosa de atribuições que revela exatamente como as características influenciam as contribuições umas das outras. O trabalho é modesto quanto ao seu escopo, notando que a análise de modelos de linguagem serve como uma aplicação ilustrativa e que medições rigorosas de fidelidade (por exemplo, curvas de inserção/exclusão) para comparações mais amplas permanecem uma necessidade futura. O framework é apresentado como uma ferramenta geral aplicável a qualquer método de atribuição de primeira ordem, estendendo-se além dos exemplos específicos fornecidos.