🤖 AI

Addressing the Selection Problem in Explainable AI

Este artigo identifica o "problema da seleção" na IA Explicável, onde os usuários têm dificuldade em escolher técnicas de explicação eficazes devido à pesquisa isolada, e propõe uma ferramenta de orquestração de LLM multiagente para traduzir automaticamente consultas de usuários para o método de XAI apropriado.

Autores originais: Claire Vlases, Katelyn Morrison

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Claire Vlases, Katelyn Morrison

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo rapidamente evolutivo da inteligência artificial, uma frustração silenciosa se instalou entre as pessoas que constroem e utilizam esses sistemas. À medida que as máquinas aprendem a tomar decisões sobre tudo, desde diagnósticos médicos até aprovações de empréstimos, um campo conhecido como IA explicável surgiu para ajudar os humanos a entender como essas decisões são tomadas. O objetivo é simples: fornecer uma razão clara para o resultado de uma máquina, transformando uma caixa preta em algo transparente. No entanto, o cenário atual está repleto de dezenas de métodos diferentes para gerar essas razões. Alguns métodos destacam quais partes de uma imagem o computador observou, enquanto outros mostram como uma pequena mudança na entrada alteraria o resultado, ou simplesmente recuperam exemplos passados semelhantes para mostrar como o sistema costuma se comportar. Cada método responde a um tipo diferente de pergunta sobre a lógica da máquina. O problema é que, embora os pesquisadores tenham construído um vasto conjunto de ferramentas desses métodos de explicação, as pessoas que precisam utilizá-los muitas vezes ficam diante de uma porta trancada, sem saber qual ferramenta escolher ou como pedir o tipo certo de ajuda.

Uma equipe de pesquisadores da Carnegie Mellon University identificou essa confusão não apenas como um erro do usuário, mas como uma falha fundamental na forma como esses sistemas são projetados. Eles a chamam de "problema de seleção". Em sua visão, a maneira atual como interagimos com a IA explicável força os usuários a traduzir sua própria confusão natural em um comando técnico específico antes que possam ver qualquer explicação. Imagine uma pessoa que não tem certeza do porquê uma máquina fez determinada escolha; ela pode pensar: "Quero saber o que aconteceria se eu mudasse este detalhe" ou "Preciso ver um exemplo de um caso semelhante". Nos sistemas atuais, o usuário deve saber que o primeiro pensamento requer um tipo específico de explicação chamado contrafactual, e o segundo requer um método de exemplar. Ele deve então encontrar o botão ou menu correto para selecionar essa técnica específica. Os pesquisadores argumentam que esperar que uma pessoa comum conheça os nomes técnicos e as capacidades dessas diferentes técnicas de explicação é uma exigência injusta e irrealista. Como os usuários não conseguem associar confiavelmente suas próprias perguntas ao método técnico correto, eles frequentemente acabam com explicações que não respondem de fato ao que queriam saber, levando à confusão ou à confiança equivocada na máquina.

Para provar esse ponto, os autores decompõem a interação em uma sequência lógica. Eles começam observando que um modelo de inteligência artificial é essencialmente uma função que recebe uma entrada e produz uma saída. Uma explicação é simplesmente um processo que recebe essa mesma entrada e o modelo para produzir uma razão. Crucialmente, diferentes processos de explicação são projetados para responder a diferentes perguntas estruturais. A incerteza de um usuário em qualquer momento é um estado mental específico, uma lacuna em seu entendimento que ele deseja preencher. Os pesquisadores mostram que, para qualquer lacuna específica de entendimento, apenas um pequeno subconjunto dos métodos de explicação disponíveis seria realmente útil. No entanto, nos sistemas que usamos hoje, o usuário é quem deve fazer a ponte entre sua pergunta em linguagem natural e o método técnico. O sistema não pergunta: "O que você está tentando entender?". Ele espera que o usuário selecione uma ferramenta. Como a maioria das pessoas não possui o treinamento técnico para saber qual ferramenta se ajusta a qual pergunta, elas frequentemente escolhem a errada. O resultado é um sistema que fornece uma resposta, mas não a resposta certa para a necessidade específica do usuário.

O artigo propõe uma solução estrutural para corrigir esse elo quebrado: um sistema que lida com a tradução para o usuário. Em vez de pedir ao usuário que escolha uma ferramenta, o novo design pede que o usuário simplesmente fale ou digite sua pergunta em inglês simples (linguagem natural). O sistema então utiliza uma ferramenta de software sofisticada, construída sobre modelos de linguagem de grande escala, para ouvir a incerteza do usuário e roteá-la automaticamente para o método de explicação correto. Esta abordagem transfere o ônus da tradução do humano para a máquina. O sistema aceita a linguagem natural do usuário, identifica que tipo de pergunta está sendo feita e, então, seleciona a técnica de explicação apropriada para fornecer a resposta. Isso permite uma interação mais fluida, onde o usuário não precisa conhecer o vocabulário técnico da área. Os pesquisadores ilustram isso com um protótipo projetado para imagens médicas. Neste exemplo, um médico poderia digitar uma pergunta como: "Não tenho certeza do porquê o sistema sinalizou este exame", e o sistema determinaria automaticamente que o médico precisa de um tipo específico de explicação visual, gerando então essa visualização específica sem que o médico precise saber o nome da técnica ou onde encontrá-la.

Os pesquisadores são cuidadosos ao apresentar isso como uma proposta e uma formalização de um problema, em vez de uma crise resolvida. Eles apresentam sua ideia como uma necessidade lógica baseada nas limitações atuais das interfaces de usuário, sugerindo que a falha da IA explicável em ganhar confiança generalizada deve-se, em parte, a esse descompasso de interface. Eles não afirmam ter construído um produto perfeito e finalizado, mas sim um modelo de como os sistemas futuros devem ser construídos. Ao mover a tarefa de combinar perguntas com ferramentas do usuário para o sistema, eles argumentam que podemos criar uma relação mais eficaz e confiável entre humanos e inteligência artificial. O trabalho sugere que o caminho a seguir não reside em construir mais ferramentas de explicação, mas em construir melhores maneiras para as pessoas pedirem por elas.

Resumo Técnico: Abordando o Problema da Seleção em IA Explicável

Definição do Problema: O Problema da Seleção
O artigo identifica uma barreira crítica na adoção da IA Explicável (XAI): o "problema da seleção". Apesar da proliferação de técnicas de XAI (ex: mapas de saliência, contrafatuais, exemplares), estudos com usuários indicam que as explicações disponíveis são frequentemente ineficazes, ignoradas ou mal interpretadas. Os autores argumentam que essa ineficácia decorre não meramente da qualidade das técnicas individuais, mas do design estrutural das interfaces convencionais de XAI.

Nos sistemas atuais, os usuários são obrigados a selecionar uma técnica de explicação específica antes de receber qualquer saída. Isso cria um descompasso entre a expressão em linguagem natural da incerteza do usuário (seu "estado epistêmico") e os controles técnicos discretos oferecidos pela interface. O artigo formaliza isso como uma falha em reduzir a lacuna entre a consulta do usuário e a técnica de explicação específica capaz de resolver essa consulta.

Metodologia: Formalização e Argumentação Lógica
Os autores empregam um arcabouço filosófico e lógico para formalizar o problema da seleção, procedendo através de uma estrutura de premissa-conclusão:

Descompasso Epistêmico (Premissa 1): Modelos de IA são funções que mapeiam entradas para saídas. Técnicas de explicação são funções que mapeiam entradas e modelos para tipos específicos de explicação. Crucialmente, diferentes técnicas respondem a perguntas estruturalmente distintas. A incerteza de um usuário é definida como um estado epistêmico $\omega = (x, y, \phi)$ , onde $\phi$ é a lacuna específica de compreensão. Apenas um subconjunto de técnicas, denotado por $E^*(\omega)$ , pode resolver um $\omega$ específico.
Fardo de Tradução (Premissa 2): Usuários expressam incerteza em linguagem natural ( $q \in L$ ), não como seleções técnicas. No entanto, interfaces convencionais exigem uma seleção de técnica discreta ( $\hat{e} \in E$ ) como entrada. Consequentemente, o usuário deve realizar uma função de tradução $f_{user}: L \to E$ .
Imparcialidade do Mapeamento (Premissa 3): O artigo postula que o mapeamento confiável de perguntas em linguagem natural para tipos de técnicas de XAI não é uma habilidade que a população geral de usuários possua. Evidências empíricas (ex: dificuldades ao usar o Banco de Questões de XAI) sugerem que os usuários frequentemente não conseguem distinguir entre as capacidades das técnicas.
O Problema da Seleção: Como os usuários não conseguem mapear a incerteza de forma confiável para a técnica correta, a técnica selecionada $\hat{e}$ frequentemente cai fora do conjunto adequado $E^*(\omega)$ . Formalmente, o problema da seleção ocorre quando $\hat{e} \notin E^*(\omega)$ .

Solução Estrutural Proposta
Para abordar isso, os autores propõem transferir o fardo do mapeamento do usuário para o sistema. Eles delineiam três requisitos para uma solução estrutural:

Entrada em Linguagem Natural: O sistema deve aceitar consultas em linguagem natural diretamente, contornando a necessidade de os usuários selecionarem modos técnicos.
Roteamento Adequado: O sistema deve fornecer técnicas que pertençam ao conjunto adequado $E^*(\omega)$ para a incerteza específica do usuário.
Tradução Realizada pelo Sistema: A função de mapeamento ( $f_{sys}: L \to E^*(\omega)$ ) deve ser executada pelo sistema, permitindo potencialmente um diálogo de múltiplos turnos para refinar a intenção do usuário antes do roteamento.

Instanciação: Orquestração de LLM Multi-Agente
O artigo fornece uma instanciação conceitual desta solução utilizando um Sistema de Orquestração de LLM Multi-Agente, especificamente no contexto de imagens médicas.

Arquitetura: O sistema utiliza um modo "Smart" onde um orquestrador central de LLM (ex: Gemini 2.5 Flash) recebe a consulta em linguagem natural do usuário.
Mecanismo: O orquestrador classifica o tipo subjacente da pergunta do usuário e utiliza a chamada de função (function calling) para rotear a consulta para um agente de XAI especializado (ex: um agente para contrafatuais, outro para mapas de saliência).
Flexibilidade: Usuários que já conhecem sua técnica desejada podem contornar o orquestrador e invocar "modos" específicos diretamente.
Objetivo: Este design visa absorver a função de mapeamento para dentro do sistema, garantindo que a técnica de explicação corresponda à natureza estrutural da incerteza do usuário.

Principais Contribuições

Formalização do Problema da Seleção: O artigo define o problema da seleção como uma falha estrutural no design de interfaces de XAI convencionais, onde o usuário é forçado a mapear a incerteza em linguagem natural para técnicas técnicas sem o suporte adequado.
Arcabouço Lógico: Fornece uma derivação lógica rigorosa (Premissas 1–3) demonstrando por que o mapeamento realizado pelo usuário é inerentemente não confiável e leva à irrelevância funcional da explicação.
Requisitos de Design: Estabelece três requisitos específicos para futuras interfaces de XAI: entrada em linguagem natural, roteamento de técnica adequado e tradução do lado do sistema.
Conceito de Protótipo: Oferece um exemplo concreto de como uma ferramenta de orquestração de LLM multi-agente pode instanciar esses requisitos, movendo a XAI de saídas estáticas para interações interativas e orientadas por consultas.

Significância e Alegações
Os autores alegam modestamente que seu trabalho aborda o "hiato de adoção" na XAI ao reenquadrá-lo como um problema de apresentação de interface, em vez de apenas um problema técnico de algoritmo. Eles argumentam que a incapacidade dos usuários de selecionar a ferramenta certa é uma consequência estrutural dos designs atuais, não uma deficiência do usuário.

O artigo não alega ter validado empiricamente o sistema multi-agente proposto com estudos de usuário. Em vez disso, apresenta a formalização e a proposta arquitetônica como um passo necessário para a comunidade de XAI centrada no humano. A significância reside na mudança do paradigma de design: futuros sistemas de XAI não devem apenas oferecer mais técnicas, mas devem gerenciar ativamente o processo de seleção para garantir que a explicação fornecida realmente resolva a incerteza específica do usuário. Sugere-se que trabalhos futuros testem empiricamente a confiabilidade do mapeamento do usuário e comparem a eficácia dos orquestradores contra as interfaces estáticas tradicionais.

Mais como este