🤖 AI

A Formal Methodological Framework for Auditing Robustness and Fidelity in Explainable AI: From Application to Trust Certification

Este artigo propõe uma estrutura de auditoria formal que quantifica a robustez e a fidelidade de métodos de IA explicável para gerar um Score de Confiança, demonstrando, através de um estudo de caso de desnutrição em Madagascar, que modelos de alto desempenho podem gerar explicações não informativas e que tal auditoria é essencial para a tomada de decisão confiável em domínios sensíveis.

Autores originais: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rosa Elysabeth Ralinirina, Jean Christian Ralaivao, Niaiko Michaël Ralaivao, Alain Josué Ratovondrahona, Thomas Mahatody

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo moderno, a inteligência artificial tornou-se uma ferramenta poderosa para dar sentido a dados complexos, desde a previsão de padrões meteorológicos até o diagnóstico de doenças. No entanto, muitos dos sistemas mais poderosos operam como "caixas pretas", o que significa que podem produzir um resultado sem revelar os passos que seguiram para chegar lá. Para preencher essa lacuna, cientistas desenvolveram ferramentas que atuam como tradutres, apontando quais partes da informação um modelo de computador utilizou para tomar sua decisão. Essas ferramentas visam construir confiança, permitindo que especialistas humanos compreendam e verifiquem a lógica da máquina. No entanto, uma questão crítica permanece: se o raciocínio do computador mudar drasticamente quando os dados de entrada são alterados por apenas uma pequena quantidade, podemos realmente confiar na explicação? Essa incerteza é o desafio central abordado por um novo estudo focado em como verificar a confiabilidade dessas explicações de IA.

Pesquisadores da Universidade de Fianarantsoa, em Madagascar, partiram para resolver este problema criando um método formal para auditar essas explicações. Eles focaram em duas qualidades específicas: estabilidade e fidelidade. A estabilidade questiona se a explicação permanece consistente quando os dados são ligeiramente perturbados, de forma muito semelhante a verificar se uma bússola ainda aponta para o norte quando o chão sob ela treme. A fidelidade questiona se as características que a explicação destaca são realmente aquelas que impulsionam a decisão do modelo, garantindo que a ferramenta não esteja apenas inventando razões que pareçam plausíveis, mas que sejam, na verdade, falsas. Ao combinar medições dessas duas qualidades em uma única pontuação, a equipe criou uma maneira de classificar o quanto um usuário deve confiar em uma explicação específica de IA.

Para testar este novo sistema de auditoria, os pesquisadores o aplicaram a um conjunto de dados do mundo real referente à segurança alimentar em Madagascar. Os dados cobriram vinte e três regiões ao longo de treze anos, rastreando oitenta e três fatores diferentes, como precipitação, produção de arroz, preços de mercado e taxas de saúde infantil. O objetivo era prever a gravidade da desnutrição nessas regiões, que foi categorizada em quatro níveis, variando de aceitável a crítico. A equipe treinou três tipos diferentes de modelos de computador com esses dados e, em seguida, utilizou duas ferramentas de explicação populares para ver quão bem elas podiam explicar as previsões dos modelos. Eles realizaram sua auditoria em um conjunto específico de casos de teste para ver se as explicações se sustentavam sob escrutínio.

Os resultados revelaram uma realidade sóbria: um modelo que é extremamente preciso ao fazer previsões não é necessariamente confiável quando se trata de explicar essas previsões. Alguns dos modelos alcançaram pontuações quase perfeitas na previsão das classes de desnutrição, mas as explicações que produziram eram ou numericamente quebradas ou completamente informativas. Em um caso impressionante, um modelo que era altamente confiante em suas respostas fez com que uma das ferramentas de explicação produzisse uma lista de valores zero para cada um dos fatores, efetivamente dizendo que nada importava porque a resposta já era óbvia. Quando os pesquisadores tentaram medir o quão estáveis eram essas explicações, os números tornaram-se impossíveis de calcular sem um pequeno ajuste matemático, destacando uma falha fundamental na forma como a ferramenta de explicação interagia com o modelo excessivamente confiante.

O estudo também descobriu que a qualidade de uma explicação depende fortemente de como o modelo foi construído. Quando os pesquisadores ajustaram os modelos para serem menos propensos a memorizar os pontos de dados específicos — um processo conhecido como regularização — as explicações tornaram-se muito mais confiáveis. Por exemplo, um tipo de modelo que inicialmente produzia explicações planas e pouco informativas começou a mostrar um padrão claro onde a remoção dos fatores mais importantes realmente alterava a previsão significvisamente. Essa mudança demonstrou que a explicação estava finalmente refletindo o verdadeiro funcionamento interno do modelo, em vez de apenas ecoar sua confiança. Os pesquisadores observaram que a ferramenta de explicação baseada em modelos de árvore era geralmente mais estável que a outra, mas ambas as ferramentas tiveram dificuldades quando o modelo subjacente era excessivamente confiante em suas próprias respostas.

Em última análise, a pesquisa sugere que uma alta precisão em um modelo de aprendizado de máquina não garante que seu raciocínio seja sólido ou compreensível. A equipe demonstrou que, sem uma verificação específica de estabilidade e fidelidade, os usuários podem ser apresentados com explicações que parecem convincentes, mas que são, na verdade, frágeis ou enganosas. Ao introduzir uma pontuação única que combina essas verificações, eles forneceram uma maneira prática para que os tomadores de decisão saibam quando uma explicação de IA é segura para uso e quando deve ser ignorada. Isso é particularmente vital em campos sensíveis como a segurança alimentar, onde políticas e ajuda são distribuídas com base nessas previsões. O estudo conclui que auditar essas explicações não é um passo extra opcional, mas um requisito necessário para garantir que a inteligência artificial que guia decisões humanas críticas seja verdadeiramente confiável.

Resumo Técnico: Um Framework Metodológico Formal para Auditoria de Robustez e Fidelidade em IA Explicável

1. Declaração do Problema

O artigo aborda uma lacuna crítica na implementação da IA Explicável (XAI) em domínios sensíveis, especificamente a segurança alimentar em Madagascar. Embora explicadores post-hoc como SHAP e LIME sejam o padrão para interpretar modelos de caixa-preta, seus outputs são frequentemente não confiáveis. Os autores observaram que pequenas perturbações nos dados de entrada podem causar variações substanciais nos outputs das explicações, e não há um mecanismo inerente para verificar se as características destacadas realmente impulsionam as previsões do modelo. Essa "ilusão de transparência" representa um risco quando formuladores de políticas dependem dessas explicações para a tomada de decisões. O problema central é a falta de um protocolo quantitativo unificado para auditar simultaneamente a estabilidade (robustez) e a fidelidade (faithfulness) dos outputs da XAI.

2. Framework Metodológico

Os autores propõem um pipeline de auditoria formal que quantifica duas propriedades distintas de qualquer explicador post-hoc e as sintetiza em um único Score de Confiança (Trust Score).

2.1 Robustez (Estabilidade Local)

A robustez mede a estabilidade de uma explicação sob perturbação de entrada.

Mecanismo: Para uma determinada entrada $x$ , o auditor extrai $N$ vetores de ruído $\delta$ de uma distribuição Gaussiana $N(0, \sigma^2 I)$ .
Cálculo: Computa os vetores de explicação $E(x)$ e $E(x+\delta)$ , normaliza-os para que a soma seja 1, e mede sua divergência usando a Divergência de Jensen-Shannon (JSD).
Métrica: $R(x) = 1 - \frac{1}{N} \sum D_{JS}(\tilde{E}(x) \parallel \tilde{E}(x+\delta_i))$ .
Tratamento de Casos Limite: Um problema numérico específico é abordado onde o TreeSHAP em modelos com overfitting pode gerar importância zero para todas as características, tornando a JSD indefinida. Os autores resolvem isso adicionando um pequeno epsilon ( $\epsilon = 10^{-10}$ ) a cada componente antes da normalização.

2.2 Fidelidade (Faithfulness)

A fidelidade avalia se as características consideradas importantes pelo explicador realmente influenciam a previsão do modelo.

Mecanismo: O método emprega ablação de características. As top- $k$ características identificadas pelo explicador são mascaradas (substituídas pelas médias das características) para criar uma entrada perturbada $x \setminus F_k$ .
Cálculo: A mudança na previsão do modelo $f(x)$ é medida em relação à previsão original.
Métrica: $F_k(x) = 1 - \frac{|f(x) - f(x \setminus F_k)|}{|f(x)| + \epsilon}$ . A fidelidade global $F(x)$ é a média através de um conjunto de níveis de ablação $K$ .
Interpretação: Um score de fidelidade alto indica que a remoção das principais características altera significativamente a previsão, confirmando a relevância do explicador.

2.3 Score de Confiança (Trust Score)

O framework combina estas métricas em uma soma ponderada:
$T(x) = \alpha R(x) + \beta F(x)$
onde $\alpha + \beta = 1$ . Por padrão, $\alpha = \beta = 0.5$ , conferindo peso igual à estabilidade e à fidelidade, embora os autores notem que estes pesos podem ser ajustados com base nos requisitos do domínio (por exemplo, priorizando a estabilidade para stakeholders não técnicos).

3. Configuração Experimental e Estudo de Caso

O framework foi validado em um dataset multissetorial sobre segurança alimentar em Madagascar.

Dados: 253 registros cobrindo 23 regiões durante 13 anos (2010–2023), apresentando 83 variáveis (clima, agricultura, socioeconomia, nutrição, demografia). A variável alvo possui 4 classes ordinais (Aceitável, Precária, Alarmante, Crítica), com um desequilíbrio severo de classes (apenas 3 instâncias na classe "Aceitável").
Modelos: Três classificadores foram testados: Random Forest (RF), XGBoost e uma Rede Neural (NN). Variantes regularizadas de cada um também foram treinadas para avaliar o impacto do overfitting.
Explicabilidade: SHAP (TreeSHAP para árvores, KernelSHAP para NN) e LIME foram utilizados.
Protocolo: A auditoria foi executada em 30 instâncias de teste com 10 tentativas de perturbação ( $\sigma=0.1$ ) e níveis de ablação $K = \{3, 5, 10, 41, 82\}$ .

4. Principais Resultados

Os experimentos produziram achados sóbrios sobre a relação entre desempenho preditivo e qualidade da explicação:

Alto AUC $\neq$ Explicações Confiáveis: Os modelos atingiram scores de AUC de média macro acima de 0,99. No entanto, este alto desempenho preditivo não garantiu explicações estáveis ou informativas.
Degeneração Numérica: No modelo XGBoost, o TreeSHAP produziu vetores de importância com valores zero para algumas instâncias devido a previsões quase certas, causando a falha no cálculo da JSD sem a correção de suavização por $\epsilon$ proposta.
Colapso da Fidelidade em Modelos com Overfitting: O modelo XGBoost exibiu scores de fidelidade "planos" (aprox. 0,620) em todos os níveis de ablação tanto para SHAP quanto para LIME. Como o modelo era tão confiante (prevendo próximo de 0 ou 1), a remoção de características alterava o output em uma quantidade constante, independentemente de quais características fossem removidas. Isso tornou a métrica de fidelidade não informativa e incapaz de distinguir entre boas e más explicações.
Impacto da Regularização: Modelos regularizados geralmente melhoraram os Scores de Confiança.
- RF e XGBoost: A regularização melhorou ligeiramente a robustez e melhorou modestamente a fidelidade, embora a curva de fidelidade do XGBoost tenha permanecido relativamente plana.
- Rede Neural: A NN regularizada (NNreg) mostrou a recuperação mais significativa no poder discriminativo. Sua fidelidade de LIME caiu de 0,977 (top 3 características) para 0,802 (top 82 características), indicando que o explicador identificou corretamente a hierarquia de importância das características.
Comparação de Robustez: O SHAP superou consistentemente o LIME em robustez em modelos baseados em árvores (ex: XGBoost: 0,978 vs. 0,658), atribuído ao caminho de computação exata do TreeSHAP versus a variabilidade de amostragem do LIME.

5. Significância e Alegações

O artigo afirma que auditar os outputs da XAI não é opcional, mas necessário, particularmente em domínios sensíveis como a segurança alimentar. As principais contribuições são:

Protocolo Unificado: O framework fornece um pipeline único para medir robustez e fidelidade lado a lado, produzindo um Score de Confiança comparável entre diferentes pares de modelo-explicador.
Detecção de Explicações "Não Informativas": O estudo demonstra que o framework pode detectar quando as explicações se tornam numericamente degeneradas ou vacuas devido ao excesso de confiança do modelo ou overfitting. Especificamente, destaca que um modelo com AUC quase perfeita pode produzir explicações que são instáveis ou inteiramente não informativas.
A Necessidade de Calibração: Os resultados sugerem que, antes de confiar nos outputs da XAI, os profissionais devem garantir que o modelo subjacente esteja bem calibrado e não sofra de overfitting severo. Se um modelo for excessivamente confiante, as métricas de fidelidade perdem seu poder discriminativo.
Trade-offs Práticos: O Score de Confiança torna o trade-off entre estabilidade e fidelidade explícito, permitindo que especialistas do domínio ajustem os pesos ( $\alpha, \beta$ ) dependendo se priorizam explicações consistentes para comunicação ou adesão estrita à lógica do modelo para conformidade regulatória.

Os autores concluem que, embora o framework seja informativo para modelos bem calibrados, sua aplicação em modelos com overfitting exige cautela, e trabalhos futuros devem focar em estratégias de perturbação específicas do domínio e estruturas de dados temporais.