🤖 AI

CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

Este artigo apresenta o modelo de usuário CoAX, que emprega modelagem cognitiva para analisar e simular estratégias de raciocínio humano ao interpretar explicações de IA para dados tabulares, oferecendo assim um método escalável para diagnosticar por que os métodos atuais de XAI frequentemente falham em melhorar a compreensão do usuário e para orientar o desenvolvimento de explicações mais eficazes.

Autores originais: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô muito inteligente, mas misterioso, que toma decisões por você — como dizer se um vinho é "bom" ou "ruim", ou se uma solicitação de empréstimo deve ser aprovada. Você quer confiar nesse robô, então ele lhe dá uma pequena nota explicando por que tomou aquela decisão. Isso é chamado de IA Explicável (XAI).

Mas eis o problema: mesmo com a nota, as pessoas frequentemente ainda ficam confusas ou fazem previsões erradas sobre o que o robô fará a seguir. É como se o robô estivesse falando uma língua que você não entende completamente, mesmo que as palavras estejam ali à vista.

Este artigo, intitulado CoAX, funciona como um "tradutor" e um "depurador" de como os humanos pensam ao tentar entender essas notas do robô. Os pesquisadores construíram um humano virtual (um programa de computador que age como uma pessoa) para descobrir exatamente como nossos cérebros processam essas explicações e por que às vezes entendemos errado.

Aqui está a história de sua descoberta, explicada de forma simples:

1. O Problema: A "Caixa Preta" e o Usuário Confuso

Os pesquisadores notaram que, embora cientistas tenham inventado muitas maneiras de explicar decisões de IA, pessoas reais ainda lutam para usá-las. Algumas explicações tornam as pessoas piores em prever o que a IA fará. Os autores perguntaram: "Por quê? O que está acontecendo dentro do cérebro humano quando eles olham para esses gráficos e números?"

2. A Solução: Construindo um "Humano Virtual" (CoAX)

Em vez de apenas adivinhar, os pesquisadores construíram o CoAX (Explicação de Atribuição Orientada Cognitivamente). Pense no CoAX como um personagem de videogame programado para pensar exatamente como um humano real.

Como funciona: Os pesquisadores primeiro observaram pessoas reais (em um "estudo formativo") e pediram que elas "falassem em voz alta" enquanto olhavam para explicações de IA. Eles notaram que as pessoas usavam truques mentais específicos, ou "estratégias", para dar sentido aos dados.
As Estratégias:
- A Estratégia "Ignore o Resto": Algumas pessoas apenas escolhem uma ou duas características que acham importantes (como "teor alcoólico") e ignoram tudo o mais.
- A Estratégia "Marcador": Quando recebem um gráfico mostrando quais características são "importantes", as pessoas focam apenas nas barras maiores e tentam lembrar casos passados semelhantes.
- A Estratégia "Soma Matemática": Quando recebem uma análise detalhada (pontuações positivas e negativas), as pessoas tentam somar os números mentalmente para ver qual lado vence.
O Modelo: O CoAX pega essas estratégias e as transforma em matemática. Ele simula um humano que tem memória limitada (esquece exemplos antigos) e atenção limitada (só consegue olhar para algumas coisas de cada vez).

3. O Experimento: Testando o Humano Virtual

Os pesquisadores então realizaram um experimento massivo com mais de 300 pessoas reais. Eles pediram a essas pessoas que adivinhassem o que uma IA preveria para diferentes cenários (como qualidade de vinho ou níveis de renda) sob três condições:

Sem Ajuda: Apenas os dados.
Ajuda Simples: Uma lista de características "Importantes".
Ajuda Detalhada: Uma lista de características com pontuações positivas e negativas (Atribuição).

Eles compararam as respostas dos humanos reais com as respostas do Humano Virtual.

A Grande Descoberta:
O Humano Virtual (CoAX) foi muito melhor em prever o que os humanos reais fariam do que programas de computador padrão (como modelos típicos de Aprendizado de Máquina).

Modelos de computador padrão apenas procuram padrões nos dados.
O CoAX procura padrões de raciocínio. Ele percebeu que os humanos não estão apenas calculando; estão usando atalhos mentais, ficando confusos com excesso de informações ou interpretando mal a "importância" de uma característica.

4. O Que Eles Encontraram Sobre o Pensamento Humano

Usando seu Humano Virtual, eles descobriram coisas interessantes sobre como falhamos em entender a IA:

A "Soma Matemática" é a Melhor: Quando as pessoas receberam explicações detalhadas de "Atribuição" (mostrando exatamente o quanto cada fator empurrou a decisão para cima ou para baixo), elas tenderam a usar uma estratégia de "soma". Isso funcionou melhor. É como somar os prós e contras em um pedaço de papel.
A "Lista Simples" é Problemática: Quando as pessoas receberam uma lista simples de características "Importantes" (sem mostrar se eram boas ou ruins), elas ficaram confusas. Algumas tentaram adivinhar a direção da influência, e outras simplesmente ignoraram a lista e voltaram aos seus antigos hábitos.
Confusão Leva ao Esquecimento: Se uma explicação fosse muito confusa, as pessoas simplesmente a descartavam e faziam previsões baseadas no que lembravam do passado, efetivamente ignorando a ajuda da IA.

5. Por Que Isso Importa (O "Laboratório Virtual")

A parte mais legal deste artigo é que, uma vez construído esse Humano Virtual, ele pode ser usado como um laboratório de simulação.

Em vez de contratar 300 pessoas, pagá-las e executar semanas de experimentos para testar uma nova ideia, os pesquisadores agora podem apenas "perguntar" ao Humano Virtual.

Exemplo: "O que acontece se mostrarmos 9 características em vez de 5?" O Humano Virtual pode simular isso instantaneamente e dizer: "Ah, as pessoas ficarão sobrecarregadas e sua precisão cairá."
Isso permite que designers depurem explicações de IA antes de mostrá-las a uma pessoa real. Eles podem corrigir as partes confusas no modelo de computador primeiro.

A Conclusão

O artigo argumenta que, para melhorar as explicações de IA, precisamos parar de tratar humanos como processadores de dados simples. Precisamos entender que os humanos têm memória limitada, atenção seletiva e hábitos mentais específicos.

Ao construir um Humano Virtual que imita esses hábitos, podemos descobrir por que as explicações atuais de IA falham e projetar melhores que realmente ajudem as pessoas a entender a mente do robô, em vez de apenas confundi-las ainda mais. É como sintonizar um rádio na frequência certa para que o cérebro humano finalmente ouça o sinal com clareza.

1. Declaração do Problema

Apesar dos avanços significativos em IA Explicável (XAI), uma lacuna crítica permanece: muitas técnicas de XAI falham em melhorar a compreensão real do usuário ou a tomada de decisão. Estudos anteriores demonstraram que explicações podem, às vezes, confundir os usuários, levar a uma dependência excessiva ou falhar em ajudar os usuários a detectar erros do modelo.

A Questão Central: A pesquisa existente frequentemente depende de métricas comportamentais superficiais (ex.: precisão) ou conjecturas para explicar por que os usuários têm dificuldades. Há uma falta de modelos mecânicos rigorosos que expliquem os processos cognitivos e estratégias de raciocínio que os usuários empregam ao interpretar XAI.
A Consequência: Sem compreender os mecanismos cognitivos subjacentes (ex.: como os usuários processam a importância de recursos versus a atribuição de recursos), é difícil projetar explicações eficazes ou depurar por que métodos específicos de XAI falham.

2. Metodologia

Os autores propõem o CoAX, um modelo cognitivo que integra a teoria da Aprendizagem Baseada em Instâncias (IBL) com restrições cognitivas (decaimento da memória, limites de atenção) para simular o raciocínio humano em XAI. A pesquisa segue um processo de design centrado no usuário em cinco etapas:

A. Estudo Formativo com Usuários (Elicitação de Estratégias)

Objetivo: Identificar como os humanos realmente raciocinam ao usar XAI.
Participantes: 20 estudantes universitários.
Tarefa: "Simulação Forward" (prever a saída da IA dado um instância de entrada e uma explicação).
Condições: Sem XAI, Importância de Recursos (pontuações não negativas) e Atribuição de Recursos (pontuações com sinal, ex.: SHAP/LIME).
Método: Protocolos de "pensar em voz alta" analisados via teoria fundamentada.
Resultado: Identificação de quatro estratégias de raciocínio distintas:
1. Categorização de recursos sensíveis: Focar em um subconjunto fixo de atributos considerados importantes, ignorando os demais.
2. Categorização de recursos salientes: Selecionar dinamicamente os top- $k$ recursos com as maiores pontuações de importância e recordar instâncias passadas semelhantes.
3. Soma de atribuição: Somar pontuações de atribuição com sinal (ou estimá-las) para pesar evidências a favor/contra um rótulo.
4. Categorização de importância: Interpretar erroneamente pontuações de importância como valores diretos de atributo para correspondência de padrões (uma estratégia falha).

B. Implementação do Modelo Cognitivo CoAX

O modelo simula a tomada de decisão humana usando IBL:

Memória: Armazena exemplares passados (instâncias) com níveis de ativação baseados em recência e frequência.
Recuperação: Recupera instâncias passadas semelhantes com base na distância euclidiana, ponderada pela ativação.
Extensões de Estratégia: O modelo IBL base é estendido para implementar as quatro estratégias identificadas:
- Sensíveis/Salientes: Modifica a métrica de distância para focar apenas em subconjuntos específicos de recursos.
- Soma de Atribuição: Calcula uma pontuação de log-odds somando contribuições ponderadas de recursos.
- Categorização de Importância: Trata pontuações de importância como valores de recurso em vez de pesos.
Parâmetros: Inclui sensibilidade à distância ( $\alpha$ ), limiar de recuperação ( $\rho$ ), número de recursos atendidos ( $k$ ) e sensibilidade classe-recurso ( $\zeta$ ).

C. Estudo Sumativo com Usuários (Validação)

Participantes: 335 participantes (Prolific).
Design: Entre-sujeitos para tipo de XAI (Nenhum, Importância, Atribuição) e dentro-sujeitos para condição de teste (Com/Sem XAI).
Conjuntos de Dados: Qualidade do Vinho, Tipo de Cobertura Florestal, Renda Adulta (classificação binária, 5 atributos).
Objetivo: Validar o CoAX ajustando o modelo aos dados de decisão humana e comparando seu poder preditivo com proxies padrão de Aprendizado de Máquina (ML) (Árvores de Decisão, KNN, MLP).

D. Teste de Hipóteses Virtual

Objetivo: Usar o modelo CoAX validado para executar "experimentos virtuais" que seriam muito custosos ou lentos para realizar com humanos reais.
Variáveis: Número de instâncias de treinamento, número de atributos e diferentes algoritmos de XAI (SHAP, LIME, Gradientes Integrados, Gradientes de Entrada).

3. Principais Contribuições

Taxonomia de Estratégias de Raciocínio: Elicitação empírica e categorização de quatro estratégias cognitivas distintas que os usuários empregam ao interpretar XAI baseada em atribuição, incluindo modos de falha específicos (ex.: interpretação errônea de pontuações de importância).
Modelo Cognitivo CoAX: Desenvolvimento de um modelo cognitivo formal que simula essas estratégias usando Aprendizagem Baseada em Instâncias, capturando a lógica procedural do raciocínio humano em vez de apenas correlações estatísticas.
Superioridade sobre Proxies de ML: Demonstrou que o CoAX ajusta-se aos dados de decisão humana significativamente melhor do que proxies padrão de ML (DT, KNN, MLP), provando que o raciocínio humano em contextos de XAI é impulsionado por heurísticas cognitivas específicas, e não apenas por padrões de dados.
Framework de Experimentação Virtual: Estabelecimento de um pipeline para usar o CoAX na geração de hipóteses e depuração da usabilidade de XAI, reduzindo a dependência de estudos caros com sujeitos humanos para prototipagem em estágio inicial.

4. Principais Resultados

Ajuste do Modelo: O CoAX alcançou uma Negativa Log-Verossimilhança (NLL) e um Critério de Informação Bayesiano (BIC) muito menores em comparação com as bases de ML, indicando que captura o processo de decisão humana subjacente com maior precisão.
Eficácia da Estratégia:
- Soma de Atribuição (usando pontuações com sinal) foi a estratégia mais eficaz, levando à maior precisão de previsão.
- XAI de Importância (pontuações não negativas) levou a estratégias diversas e frequentemente subótimas, incluindo a falha "Categorização de Importância".
- Transferência de Aprendizado: Participantes treinados com XAI de Atribuição mantiveram a estratégia "Soma de Atribuição" mesmo quando o XAI foi removido, enquanto aqueles treinados com XAI de Importância frequentemente retornaram a estratégias de "Recursos Sensíveis".
Impacto do Tipo de XAI:
- XAI de Atribuição consistentemente superou XAI de Importância e Sem XAI.
- Contagem de Recursos: O aumento do número de atributos degradou o desempenho para "Sem XAI" e "XAI de Importância" (sobrecarga de informação), mas foi mitigado por "XAI de Atribuição".
Experimentos Virtuais: O modelo simulou com sucesso como o aumento das instâncias de treinamento melhora a compreensão (efeito de platô) e como diferentes algoritmos de XAI (ex.: LIME vs. SHAP) impactam o desempenho do usuário, validando a utilidade do modelo para testes escaláveis.

5. Significado e Implicações

Depuração de XAI: O CoAX fornece uma ferramenta de diagnóstico para identificar por que uma explicação falha (ex.: ela desencadeia uma estratégia falha de "Categorização de Importância"?).
Recomendações de Design:
- Design de UI: Os designers devem incentivar estratégias de "Soma de Atribuição" (ex.: mostrando valores com sinal) e desencorajar a "Categorização de Importância" (ex.: evitando a apresentação de pontuações de importância como valores brutos).
- Treinamento: Tutoriais devem ensinar explicitamente aos usuários como agregar atribuições com sinal em vez de apenas olhar para os recursos "mais importantes".
Redução de Custos: Ao validar hipóteses com humanos virtuais (CoAX) antes de realizar estudos em larga escala com usuários, os pesquisadores podem iterar designs de XAI mais rapidamente e com maior custo-benefício.
Direções Futuras: O framework pode ser estendido para outras modalidades (imagens, texto), diferentes tarefas de decisão (confiança, dependência) e populações de usuários diversas para ir além do XAI "tamanho único".

Em resumo, o CoAX preenche a lacuna entre a ciência cognitiva e a XAI, oferecendo uma compreensão mecânica da interação humano-IA que vai além de "funciona?" para "como o usuário pensa?".