Towards Attributions of Input Variables in a Coalition

Each language version is independently generated for its own context, not a direct translation.

Imagine que você tem um time de futebol (um modelo de Inteligência Artificial) e quer saber quem foi o verdadeiro herói da vitória. Você pode olhar para cada jogador individualmente (o "Shapley Value", um método famoso para medir importância). Mas e se você quiser saber a importância de um grupo de jogadores, como a defesa inteira ou um trio de ataque específico?

É aqui que a pesquisa entra, e é onde as coisas ficam confusas.

O Problema: A Soma não é Igual à Parte

A descoberta principal deste artigo é que, muitas vezes, a importância de um grupo não é igual à soma das importâncias dos seus membros.

Pense assim:

Se você medir o valor do Jogador A sozinho, ele vale 5 pontos.
Se você medir o Jogador B sozinho, ele vale 5 pontos.
Se você somar A + B, você espera 10 pontos.
Mas, quando A e B jogam juntos, eles podem criar uma química mágica (ou um desastre) que vale 20 pontos (ou -5 pontos).

O método tradicional de medir importância falha ao tentar tratar grupos como se fossem apenas uma "soma" de indivíduos. O grupo tem uma vida própria.

A Solução: O "Efeito de Receita" (Interações AND-OR)

Os autores descobriram que os modelos de IA funcionam como uma cozinha complexa. Eles não apenas somam ingredientes; eles criam receptos (interações).

Eles usam dois conceitos principais:

Interação AND (E): É como fazer um bolo. Você precisa de farinha E ovos E açúcar. Se faltar um, o bolo não existe. O valor do bolo vem da combinação completa.
Interação OR (OU): É como um alarme de incêndio. Se houver fumaça OU calor, o alarme toca. Basta um dos dois.

O problema surge quando tentamos atribuir valor a um grupo (digamos, "farinha e ovos").

Se o modelo de IA usa "farinha e ovos" apenas para fazer o bolo (AND), tudo bem.
Mas, e se "farinha" também for usada sozinha para fazer pão, e "ovos" forem usados sozinhos para fazer omelete?
Quando você tenta medir o valor do grupo "farinha + ovos", o método tradicional fica confuso porque esses ingredientes também têm "vidas separadas" fora desse grupo específico. Isso gera o conflito de atribuição.

A Grande Descoberta: O "Roubo" de Valor

O papel explica que o conflito acontece porque existem interações "parciais".
Imagine que você quer medir o valor do grupo "Defesa do Time".

O grupo "Defesa" funciona bem junto (Interacão AND).
Mas o "Zagueiro" (parte da defesa) também é ótimo em fazer faltas sozinho (Interação parcial).
O "Goleiro" (parte da defesa) também é ótimo em pegar bolas altas sozinho.

O método antigo tenta dar crédito ao grupo, mas esquece que parte do crédito do Zagueiro e do Goleiro vem de habilidades que eles usam fora da formação da defesa. O novo método do artigo separa o que é compartilhado (o que o grupo faz juntos) do que é conflituoso (o que os membros fazem sozinhos ou em outros grupos).

Como eles medem se um grupo é "Real"?

Eles criaram três "termômetros" para saber se um grupo de variáveis (seja palavras em uma frase, pixels em uma imagem ou pedras no jogo de Go) faz sentido como uma unidade:

O Termômetro de Fidelidade: Se o grupo é realmente uma unidade coesa, a maior parte do valor dele vem de trabalhar junto. Se o valor vem de cada um fazendo coisas separadas, o grupo é "falso" ou "infiel".
O Termômetro de Significado: Quão importante é cada peça dentro desse grupo específico?
O Termômetro de Coesão: O grupo inteiro vale mais do que a soma das partes?

Onde isso é usado? (Exemplos do Mundo Real)

Linguagem (NLP):
- Cenário: A frase "raining cats and dogs" (chovendo canivetes/gatos e cachorros).
- Grupo fiel: "cats and dogs" funciona como uma unidade de significado (chuva forte). O método diz: "Sim, esse grupo é importante".
- Grupo falso: "rivaling blair" (em uma crítica de filme). Se você separar "blair" de "witch" (bruxa), o grupo perde o sentido. O método diz: "Não, esse grupo não faz sentido, é uma má escolha".
Jogo de Go (Xadrez Chinês):
- No Go, pedras formam padrões (alianças) para ganhar.
- O método consegue olhar para um tabuleiro e dizer: "Essa formação de 3 pedras brancas é um padrão tático forte que aumenta suas chances de vitória".
- Isso ajuda até jogadores humanos a aprenderem novos padrões que a IA descobriu, mas que os humanos ainda não conheciam.
Imagens:
- Em vez de olhar pixel por pixel, o método identifica que um conjunto de pixels forma um "olho" ou uma "roda". Ele valida se agrupar esses pixels faz sentido para a IA.

Resumo em uma frase

Este papel nos ensina que agrupar coisas não é apenas somar números; é entender a "química" entre elas. Eles criaram uma nova régua matemática para dizer quando um grupo de variáveis (seja em um texto, imagem ou jogo) é uma unidade real e significativa, separando o que é trabalho em equipe do que é talento individual.

Each language version is independently generated for its own context, not a direct translation.

Título: Rumo às Atribuições de Variáveis de Entrada em uma Coligação

Autores: Xinhao Zheng, Huiqi Deng, Quanshi Zhang (Shanghai Jiao Tong University)

1. Problema Identificado

O campo da Inteligência Artificial Explicável (XAI) enfrenta um desafio fundamental: como particionar as variáveis de entrada de um modelo para calcular atribuições (importância) de forma significativa.

O Conflito de Atribuição: Métodos baseados em valores de Shapley (e Banzhaf) calculam a importância de variáveis individuais ou de grupos (coligações) com base em uma partição pré-definida. No entanto, não há uma teoria que guie como formar essas partições.
A Inconsistência: O problema central é que a atribuição de uma coligação $S$ (um grupo de variáveis tratado como uma única unidade) frequentemente não é igual à soma das atribuições das variáveis individuais que compõem essa coligação. Ou seja, $\phi(S) \neq \sum_{i \in S} \phi(i)$ .
Limitação Atual: Métodos anteriores tentam resolver isso de forma "engenhosa" (adicionando funções de perda para forçar a consistência), sem explicar a causa matemática raiz desse conflito.

2. Metodologia e Fundamentação Teórica

Os autores propõem uma reestruturação teórica baseada na decomposição de interações não lineares nos modelos de IA.

A. Interações AND-OR

O trabalho utiliza o conceito de interações AND-OR para explicar o comportamento interno do modelo:

Interação AND ( $I_{and}$ ): Representa relações onde todas as variáveis de um conjunto devem estar presentes para gerar um efeito no output (ex: "chovendo cachorros e gatos" só funciona se todas as palavras estiverem presentes).
Interação OR ( $I_{or}$ ): Representa relações onde a presença de qualquer variável de um conjunto gera um efeito (ex: palavras sinônimas de negatividade).
O modelo de saída $v(x)$ é decomposto na soma dos efeitos numéricos dessas interações.

B. Reformulação do Valor de Shapley

Os autores demonstram teoremas que reescrevem o Valor de Shapley ( $\phi(i)$ ) e o Valor de Banzhaf como uma alocação específica dos efeitos das interações AND-OR:

O valor de Shapley de uma variável $i$ é a soma dos efeitos de todas as interações que contêm $i$ , divididos pelo tamanho do conjunto da interação.

C. Definição de Atribuição de Coligação ( $\phi(S)$ )

Para resolver o problema de inconsistência, eles definem uma nova métrica de atribuição para uma coligação $S$ :
$\phi(S) = \sum_{T \supseteq S} \frac{|S|}{|T|} [I_{and}(T) + I_{or}(T)]$
Essa fórmula aloca o efeito de uma interação $T$ para a coligação $S$ apenas se $S$ estiver contida em $T$ (ou seja, se a interação $T$ tratar $S$ como uma unidade indivisível).

D. Explicação do Conflito (Teorema 3.4)

A contribuição teórica principal é a prova de que o conflito de atribuição surge naturalmente de interações que contêm apenas uma parte das variáveis da coligação, mas não todas.

Componente Compartilhado ( $\phi_{shared}$ ): Efeitos onde a coligação $S$ é tratada como um bloco único.
Componente de Conflito ( $\phi_{conflict}$ ): Efeitos de interações $T$ onde $T \cap S \neq \emptyset$ e $T \cap S \neq S$ (interações parciais).
Conclusão: O conflito $\sum \phi(i) \neq \phi(S)$ existe porque as interações parciais contribuem para a soma das partes, mas não para a atribuição do todo. Se o modelo não codificar interações parciais sobre $S$ , não há conflito.

E. Métricas de Fidelidade da Coligação

Para avaliar se uma partição de variáveis é "fiel" (ou seja, se faz sentido tratá-las como um grupo), propõem três métricas:

$R(i)$ : Razão entre o efeito compartilhado e o total para uma variável $i$ .
$R'(i)$ : Medida da força das interações que tratam $S$ como um bloco, em relação a todas as interações de $i$ .
$Q(S)$ : Métrica global que avalia se a coligação $S$ inteira é tratada como uma unidade significativa pelo modelo.

3. Resultados Experimentais

Os autores validaram a abordagem em diversos cenários:

Dados Sintéticos: Em funções toy com interações conhecidas, as métricas $Q(S)$ , $R(i)$ e $R'(i)$ conseguiram distinguir com alta precisão entre coligações "fiéis" (valores próximos de 1) e "não fiéis" (valores próximos de 0).
Processamento de Linguagem Natural (NLP):
- Testes em modelos BERT e LLaMA na tarefa de classificação de sentimentos (SST-2).
- Frases como "mesmerizing performances" (coligação fiel) apresentaram métricas altas, enquanto divisões artificiais como "rivaling blair" (que separa "blair witch") apresentaram métricas baixas, alinhando-se à intuição humana.
Classificação de Imagens:
- Testes em VGG-11 e ResNet-20 (MNIST e CIFAR-10).
- Regiões de imagem que formam conceitos visuais coerentes (ex: a cabeça de um cavalo) foram identificadas como coligações fiéis.
Jogo de Go:
- Aplicação no motor de Go KataGo.
- O método identificou padrões de forma (coalitions de pedras) que aumentam ou diminuem a vantagem do jogador.
- Os padrões descobertos alinharam-se com a intuição de jogadores profissionais (ex: padrões de "ombro" ou shoulder-hit) e, em alguns casos, revelaram novos padrões estatísticos aprendidos pela rede que vão além do conhecimento humano tradicional.

4. Contribuições Principais

Mecanismo Interno do Conflito: Clarificaram matematicamente por que a soma das atribuições individuais difere da atribuição do grupo, identificando as interações parciais como a causa raiz.
Nova Métrica de Atribuição: Propuseram uma definição teórica de atribuição para coligações baseada em interações AND-OR, que explica o conflito em vez de apenas tentar eliminá-lo.
Avaliação de Fidelidade: Introduziram métricas quantitativas para determinar se um grupo de variáveis deve ser tratado como uma unidade coerente, validadas em tarefas reais de NLP, visão computacional e jogos.

5. Significado e Impacto

Este trabalho é significativo porque move a explicação de IA de uma abordagem puramente empírica para uma fundamentação teórica rigorosa.

Guia Prático: Oferece critérios para que pesquisadores e praticantes saibam como agrupar variáveis (pixels, palavras, pedras) para obter explicações fiéis.
Interpretabilidade Profunda: Permite entender não apenas quais variáveis são importantes, mas como elas interagem (como blocos lógicos) dentro da rede neural.
Aplicabilidade: A capacidade de alinhar a lógica da IA com a intuição humana (como no Go) abre portas para o uso de IA explicável no treinamento e aprimoramento de especialistas humanos.

Em resumo, o artigo resolve o dilema da partição de variáveis em XAI provando que o conflito de atribuição é uma propriedade natural das interações parciais no modelo e fornecendo ferramentas para medir e explorar a estrutura de "coligações" fiéis dentro das redes neurais.