🔢 mathematics

When Are AI Explanations Recoverable? Identifiability, Stability, and Transfer from an Inverse-Problem Perspective

Este artigo estabelece um arcabouço matemático para determinar a recuperabilidade de explicações de IA ao formulá-las como problemas inversos, derivando uma tricotomia completa de condições de identificabilidade e estabilidade para sistemas lineares e não lineares, e fornecendo limites explícitos que distinguem a subdeterminação intrínseca da variabilidade algorítmica.

Autores originais: Chibuike Chiedozie Ibebuchi

Publicado 2026-08-24

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chibuike Chiedozie Ibebuchi

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, um modelo é frequentemente julgado por quão bem ele prevê o futuro. Se um sistema consegue prever com precisão o desfecho de saúde de um paciente ou o preço de uma ação, tendemos a confiar em seu julgamento. Mas a confiança em uma previsão é diferente da confiança em uma explicação. Quando um modelo toma uma decisão, muitas vezes queremos saber o porquê. Ele se baseou em um sintoma específico? Ele pesou um fator mais fortemente do que outro? Essas explicações pretendem revelar a lógica interna da máquina, agindo como uma janela para o seu raciocínio. No entanto, existe uma realidade perturbadora: dois modelos diferentes podem fazer exatamente as mesmas previsões para cada caso individual, mas oferecer razões completamente diferentes para fazê-lo. Um pode culpar um recurso específico enquanto o outro o ignora inteiramente, embora ambos cheguem à mesma resposta correta. Isso cria um enigma fundamental: se o comportamento observável é idêntico, podemos algum dia ter certeza de qual explicação é a verdadeira?

Esta questão está no cerne de um novo estudo que trata a busca por explicações de IA não como uma questão de melhor software, mas como um problema de física e geometria. O pesquisador, Chibuike Chiedozie Ibebuchi, da Morgan State University, abordou a questão formulando-a como um problema inverso. Na ciência, um problema direto pergunta o que acontece quando você aperta um botão; um problema inverso pergunta o que deve ter acontecido dentro da máquina para produzir o resultado que você vê. O estudo questiona se o "porquê" de uma previsão pode ser recuperado de forma única e estável a partir do "quê" da previsão. A resposta, segundo o autor, não é um simples sim ou não. Em vez disso, a recuperabilidade de uma explicação depende inteiramente da forma matemática dos dados sobre os quais o modelo foi treinado. O estudo prova que, para alguns tipos de perguntas, a resposta está escondida à vista de todos, enquanto para outros, a resposta é matematicamente impossível de encontrar, não importa quanta capacidade de computação você aplique.

O pesquisador desenvolveu uma maneira precisa de medir os limites da explicação. Eles imaginaram um cenário onde dois sistemas de IA são tão semelhantes que suas previsões diferem apenas por uma quantidade mínima, quase invisível. Eles então perguntaram: o quanto as explicações para esses dois sistemas podem diferir? Se as explicações podem oscilar drasticamente mesmo quando as previsões são quase idênticas, a explicação é instável. Se as explicações podem ser completamente diferentes mesmo quando as previsões são exatamente as mesmas, a explicação é não identificável. O estudo estabelece uma fronteira clara entre esses estados. Ele mostra que uma explicação só é recuperável se estiver alinhada com as direções nos dados que o modelo consegue realmente "ver". Se a explicação depender de uma direção que o modelo não consegue ver, a explicação é perdida para sempre. Se a explicação depender de uma direção que o modelo consegue ver, mas apenas fracamente, a explicação existe na teoria, mas é tão sensível ao ruído que é inútil na prática.

No caso específico de modelos lineares, que são comuns em muitas aplicações estatísticas, o autor derivou uma fórmula exata que atua como uma régua para essa incerteza. Esta fórmula vincula a estabilidade de uma explicação diretamente à geometria das relações dos dados. Quando os recursos dos dados estão altamente correlacionados, uma situação conhecida como colinearidade, a régua mostra que as explicações tornam-se cada vez mais instáveis. O estudo demonstra que, à medida que a correlação entre os pontos de dados cresce, a incerteza na explicação cresce com ela, tornando-se eventualmente infinita se a correlação se tornar perfeita. O pesquisador testou esta teoria com simulações computacionais. Eles criaram cenários onde as relações dos dados foram ajustadas de perfeitamente claras para quase impossíveis de distinguir. Em todos os casos, o comportamento do computador correspondeu exatamente à previsão matemática. Quando os dados eram bem comportados, as explicações eram estáveis. Quando os dados eram quase idênticos de maneiras diferentes, as explicações divergiam drasticamente, confirmando que a instabilidade não era um erro de software, mas uma propriedade fundamental da informação disponível.

O estudo também explorou o que acontece quando a IA utiliza regras não lineares mais complexas para tomar decisões. Poderia se esperar que um modelo mais complexo pudesse desvendar a confusão causada por dados desordenados. No entanto, o pesquisador descobriu que a complexidade não resgata uma explicação perdida. Se uma peça de informação está faltando dos dados em primeiro lugar, nenhuma quantidade de torção não linear pode trazê-la de volta. O estudo prova que, se uma explicação depende de uma variável oculta que o modelo não consegue observar, um modelo não linear ainda assim falhará em identificá-la. A explicação permanece tão invisível quanto era no caso linear mais simples. Essa descoberta é crucial porque desmistifica a ideia de que algoritmos mais complexos podem resolver problemas que são fundamentalmente subdeterminados pelos dados.

Além disso, a pesquisa aborda a questão da transferência, perguntando se uma explicação que funciona em uma situação se manterá se os dados mudarem ligeiramente. O autor descobriu que a estabilidade não é garantida por pequenas mudanças nos dados. Se a distribuição subjacente dos dados mudar mesmo que minimamente, uma explicação que antes era estável pode tornar-se subitamente impossível de recuperar. Isso acontece quando a mudança nos dados empurra o problema em direção a uma fronteira onde a informação é perdida. O estudo fornece uma condição específica, uma "margem espectral", que deve ser mantida para garantir que as explicações permaneçam confiáveis ao mover de um conjunto de dados para outro. Sem essa margem, mesmo uma mudança minúscula nos dados pode destruir a capacidade de explicar o comportamento do modelo.

O trabalho conclui reformulando como devemos abordar a inteligência artificial explicável. Em vez de buscar imediatamente o melhor algoritmo para gerar uma explicação, o estudo sugere que devemos primeiro perguntar se uma explicação é sequer possível de encontrar. Antes de confiar em uma atribuição de características ou em um índice de sensibilidade, devemos determinar se a informação necessária para gerá-la está realmente presente nas previsões observáveis. O estudo separa a variabilidade causada pela escolha do algoritmo da incerteza intrínseca causada pelos próprios dados. Ele oferece uma base matemática para saber quando uma afirmação explicativa é sustentada pela evidência e quando ela é fundamentalmente subdeterminada. Ao definir os limites do que pode ser conhecido, a pesquisa fornece uma fundação necessária para construir confiança na inteligência artificial, garantindo que não confundamos um algoritmo estável com uma verdade estável.

Resumo Técnico: Quando as Explicações de IA são Recuperáveis?

Formulação do Problema
O artigo aborda uma lacuna fundamental na Inteligência Artificial Explicável (XAI): a suposição de que a similaridade preditiva implica concordância explicativa. O autor postula que diferentes modelos podem gerar predições observacionalmente indistinguíveis enquanto sustentam atribuições de características, sensibilidades ou classificações materialmente diferentes. A questão central é formulada como um problema inverso: dado um operador de observação $\mathcal{A}$ (representando o comportamento observável do modelo) e um funcional de explicação $\Psi$ (a quantidade a ser recuperada), sob quais condições $\Psi(\theta)$ é única e estavelmente recuperável de $\mathcal{A}(\theta)$ ?

O estudo distingue três fenômenos frequentemente confundidos:

Não-identificabilidade: A explicação varia entre sistemas com observações idênticas.
Mal-condicionamento: A explicação é única, mas infinitamente sensível a pequenas perturbações observacionais.
Recuperação estável: A explicação é determinada de forma única e varia continuamente (estavelmente de Lipschitz) com as observações.

Metodologia
O framework define um módulo de identificabilidade específico da explicação, $\omega_{\Psi, \mathcal{A}}(\delta)$ , que quantifica a discrepância máxima possível no funcional de explicação $\Psi$ entre dois sistemas cujas observações diferem por no máximo uma tolerância $\delta$ .

A análise procede através de quatro estágios teóricos:

Teoria de Espaço de Hilbert Linear: O problema é modelado usando operadores de observação lineares limitados $A: \mathcal{H} \to \mathcal{Y}$ e funcionais de explicação lineares $\Psi_a(\theta) = \langle a, \theta \rangle$ . A análise baseia-se na geometria do núcleo $\ker(A)$ e do alcance do operador adjunto $\text{Range}(A^*)$ .
Especialização de Dimensão Finita: Para preditores lineares com geometria de covariância $\Sigma$ , o módulo é derivado usando a pseudoinversa de Moore-Penrose $\Sigma^\dagger$ .
Extensões Não Lineares: A teoria se estende a operadores de observação não lineares $F$ que são localmente comparáveis a um operador linear $A$ via bi-Lipschitz. Isso permite limitar o módulo não linear usando o contraparte linear escalonado pelos constantes de Lipschitz da não linearidade.
Análise de Perturbação: O estudo investiga como a recuperabilidade da explicação se transfere através de mudanças distributivas (fonte $P$ para alvo $Q$ ) analisando perturbações relativas da matriz de covariância.

Principais Resultados

A Tricotomia da Recuperabilidade (Caso Linear):
Para uma direção de explicação linear $a$ , exatamente um de três regimes ocorre:
1. Não-identificável: Se $a \notin (\ker A)^\perp$ , o módulo é infinito para qualquer $\delta \geq 0$ . A explicação não pode ser recuperada.
2. Identificável, mas Infinitamente Instável: Se $a \in (\ker A)^\perp$ mas $a \notin \text{Range}(A^*)$ , o módulo é zero em $\delta=0$ , mas infinito para qualquer $\delta > 0$ . A explicação é única no limite sem ruído, mas irrecuperável sob perturbação.
3. Lipschitz-Estável: Se $a \in \text{Range}(A^*)$ , o módulo é $\omega_a(\delta) = \delta \|y_a^\dagger\|$ , onde $y_a^\dagger$ é a solução de norma mínima para $A^*y = a$ . Isso fornece uma constante de estabilidade ótima exata.
Fórmula da Pseudoinversa de Dimensão Finita:
Em dimensões finitas, onde $\text{Range}(A^*)$ é fechado, o regime instável intermediário colapsa. Se a direção da explicação reside no alcance observável, o módulo é dado por:
$\omega_a(\delta) = \delta \sqrt{a^\top \Sigma^\dagger a}$
Isso vincula explicitamente a recuperabilidade da explicação à geometria da covariância. A quase-colinearidade (pequenos autovalores) leva ao mal-condicionamento (grande módulo), enquanto a deficiência de posto na direção de $a$ leva à não-identificabilidade.
Limites Não Lineares:
Para modelos lineares generalizados (ex: regressão logística) com uma função de ligação $g$ possuindo limites de derivada $m \leq g' \leq M$ , o módulo não linear é limitado pelo módulo linear escalonado por $1/M$ e $1/m$ . Crucialmente, a não linearidade não pode restaurar a identificabilidade perdida no núcleo observacional; se uma direção é inobservável no preditor linear, ela permanece inobservável após uma transformação monótona.
Certificados de Transferência:
O artigo estabelece que a estabilidade da explicação se transfere sob mudança distributiva apenas se a perturbação relativa da geometria da covariância for limitada longe do colapso espectral. Especificamente, se $\|E\|_{op} \leq \rho < 1$ (onde $E$ é a perturbação relativa), o módulo alvo é limitado dentro de um fator de $1/\sqrt{1 \pm \rho}$ do módulo da fonte. Inversamente, perturbações absolutas arbitrariamente pequenas podem destruir a identificabilidade se o sistema de origem estiver próximo de uma fronteira de deficiência de posto.

Verificação Numérica
Quatro experimentos controlados verificam as previsões teóricas:

Condicionamento Espectral: O módulo linear exato foi reproduzido com precisão de ponto flutuante através de números de condição de covariância variando de $1 $a$ 10^6$.
Falha do Núcleo (Null-Space): Deslocamentos ao longo de uma direção nula resultaram em discrepância preditiva zero, mas discrepância de explicação divergente, confirmando a não-identificabilidade exata.
Limites Não Lineares: Os módulos numéricos para um modelo logístico permaneceram estritamente dentro dos limites teóricos de dois lados derivados do caso linear.
Envelope de Transferência: As razões amostradas de módulo alvo-para-fonte sob perturbações aleatórias de covariância permaneceram dentro do envelope teórico previsto pelo teorema de perturbação relativa.

Significância e Alegações
O artigo afirma fornecer uma teoria de problema inverso quantitativa para um funcional de explicação especificado relativo a um operador de observação especificado. Sua contribuição primária não é um novo algoritmo de atribuição, mas um framework matemático para determinar a priori se um alvo explicativo é recuperável a partir da informação preditiva disponível.

O autor argumenta que este framework separa a variabilidade algorítmica (diferenças decorrentes da escolha do método de explicação) da mal-condição e não-identificabilidade intrínsecas (limites fundamentais impostos pelos dados e pela estrutura do modelo). O trabalho postula que, antes de selecionar ou comparar algoritmos de explicação, os pesquisadores devem primeiro determinar se o alvo explicativo é identificável e estável sob a dada estrutura de informação. Se o alvo estiver fora do alcance observável ou em um regime instável, nenhum algoritmo poderá recuperá-lo de forma confiável, independentemente de seu design.

O estudo conclui que a confiabilidade da explicação é uma propriedade do próprio problema inverso, e não meramente uma propriedade do algoritmo usado para resolvê-lo. Isso reconfigura a confiabilidade das alegações de XAI: elas são sustentadas apenas quando a quantidade explicativa é estavelmente recuperável a partir do comportamento preditivo observável.

Resumo Técnico: Quando as Explicações de IA são Recuperáveis?

Mais como este