Resumo Técnico: SETA – Atribuição Estatística de Falhas para Sistemas de IA Composta

1. Declaração do Problema

Os sistemas de IA modernos são cada vez mais arquitetados como Sistemas de IA Composta (CAS): pipelines complexos que compreendem modelos especializados, recuperadores e componentes de software, em vez de redes monolíticas. Embora essa modularidade auxilie o desenvolvimento, ela introduz desafios significativos em testes, depuração e garantia de segurança. Falhas pequenas e localizadas em componentes de montante (ex: drift de dados, má calibração de modelos) podem se propagar pelo pipeline, levando a falhas catastróficas no nível do sistema.

As técnicas atuais de teste de robustez enfrentam duas limitações primordiais:

1. Teste de Ponta a Ponta (E2E): Trata o sistema como uma caixa preta. Embora possa identificar que uma falha ocorreu, não consegue atribuir a falha a componentes internos específicos.
2. Teste de Componente Isolado (ICT): Testa módulos isoladamente, mas falha em detectar falhas emergentes decorrentes de interações dinâmicas entre módulos ou em analisar como os erros se propagam pelo pipeline.

Ferramentas existentes (ex: ataques adversários como FGSM, ferramentas de verificação formal como Reluplex, ou ferramentas baseadas em cobertura como DeepXplore) são amplamente projetadas para modelos de rede única. Elas carecem da capacidade de realizar localização de falhas de grão fino dentro de pipelines compostos ou de explicar por que uma falha ocorreu dentro do contexto de execução. Além disso, o "problema do oráculo de teste" — a dificuldade de definir saídas corretas exatas para componentes intermediários sem uma verdade fundamental (ground truth) — permanece como uma barreira.

2. Metodologia: O Framework SETA

Os autores propõem o SETA (Statistical Fault Attribution - Atribuição Estatística de Falhas), um framework modular que combina Teste Metamórfico (MT) com Análise de Traço de Execução. O SETA opera sem exigir oráculos de verdade fundamental explícitos, definindo especificações comportamentais através de relações metamórficas.

2.1 Relações Metamórficas (MRs) como Pseudo-Oráculos

O SETA aborda o problema do oráculo verificando a preservação de propriedades especificadas pelo usuário (Relações Metamórficas) através de transformações de entrada, em vez de verificar pares únicos de entrada-saída.

• Definição: Uma MR especifica a relação esperada entre a saída de um sistema para uma entrada de origem $x$ e uma entrada perturbada $\tilde{x} = g(x)$.
• Formulação Genérica: As relações são definidas usando o delta de Kronecker ($\delta$) para restrições de igualdade e funções degrau de Heaviside ($H$) para restrições de desigualdade.
• MRs Específicas de Tarefa: O framework define MRs para quatro tarefas principais de visão:
  • Classificação de Imagem: Invariância de rótulos ou diferenças de norma $L_\infty$ limitadas em distribuições de probabilidade sob transformações espaciais.
  • Localização de Objetos: Restrições sobre a Interseção sobre União (IoU) entre caixas delimitadoras previstas e a verdade fundamental.
  • Detecção de Objetos: Uma combinação de restrições de classificação e localização aplicadas a conjuntos de objetos detectados.
  • Segmentação de Imagem: Equivalência ao nível de pixel ou restrições de sobreposição baseadas em IoU relaxado para máscaras semânticas.
• Relações Metamórficas Compostas (CMRs): Para componentes complexos, múltiplas MRs individuais são combinadas via conjunção lógica (operador de produto) para formar um único escore composto ($S_i$). Um componente é considerado correto apenas se todas as relações constituintes forem atendidas.

2.2 Análise de Traço de Execução Baseada em Estado

O SETA modela o sistema de IA composta como um sistema de transição de estados, onde os estados representam módulos computacionais.

• Árvore de Traço de Execução ($T(x)$): Durante a inferência, o framework instrumenta o sistema para registrar um grafo de execução dinâmica. Para cada entrada $x$ e sua variante perturbada $\tilde{x}$, ele constrói uma árvore capturando:
  • Módulos ativados.
  • Tensores de entrada/saída.
  • Decisões de roteamento (quais módulos de jusante são invocados).
  • Resultados da função de pontuação ($S_q$) comparando as execuções de referência e perturbada.
• Alinhamento de Traço: O framework alinha o traço da entrada perturbada contra o traço de referência para detectar desvios em conjuntos de ativação (ex: um módulo acionado em um, mas não no outro) ou inconsistências de saída.

2.3 Atribuição Estatística de Falhas

Para distinguir entre o primeiro ponto de falha e a causa raiz (que pode ser um erro de montante que se propagou), o SETA emprega um mecanismo de atribuição estatística.

• Pontuação de Contribuição de Falha (FC): O framework define uma variável aleatória $Z_i$ representando o desvio do módulo $i$. A pontuação FC para o módulo $i$ é o desvio esperado condicionado a uma falha no sistema:
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  Isso mede com que frequência um componente viola sua especificação dado que todo o sistema falhou.
• Pesos de Atribuição: As pontuações são normalizadas entre todos os módulos para derivar pesos de atribuição ($\alpha_i$) interpretáveis, quantificando a contribuição relativa de cada componente para a não confiabilidade do sistema.
• Algoritmo: O processo envolve iterar através de um conjunto de dados e um conjunto de perturbações, registrando traços, computando pontuações de nível de sistema e agregando desvios para produzir um vetor de atribuição normalizado.

3. Principais Contribuições

1. Framework Modular: Propõe o SETA, integrando Teste Metamórfico com Análise de Traço de Execução para localizar falhas em pipelines de IA complexos, rastreando empiricamente a propagação de perturbações.
2. Especificações Sem Oráculo: Suporta abstrações escaláveis e testáveis para modelos de caixa preta ao definir especificações comportamentais via relações metamórficas.
3. Extensibilidade: Devido ao seu design modular, os usuários podem definir e integrar diferentes classes de relações metamórficas, suportando a interpretabilidade em sistemas opacos.
4. Análise de Grão Fino: Demonstra a capacidade de identificar a origem das falhas e expor vulnerabilidades ocultas em pipelines de múltiplos estágios onde ferramentas tradicionais falham.

4. Resultados Experimentais

O framework foi avaliado em dois sistemas distintos:

1. Sistema de Visão de Inspeção Ferroviária Autônoma: Um sistema do mundo real com 6 módulos (1 detector de objetos, 5 classificadores) processando imagens ferroviárias.
   • Configuração: Testado contra 15 técnicas de corrupção de imagem (ex: névoa, neve, desfoque de movimento) da biblioteca imagecorruptions.
   • Descobertas: O SETA identificou com sucesso que o módulo de detecção de objetos ($f_0$) era altamente sensível à névoa e ao desfoque de movimento, enquanto os classificadores de jusante mostraram robustez variada. Ele computou pontuações de atribuição ($\alpha_i$) que destacaram módulos específicos (ex: $f_1$ e $f_3$) como principais contribuintes para as falhas do sistema sob perturbações específicas.
2. Modelo de Classificação de Ensemble (CIFAR-10): Um teste de sanidade usando um ensemble de CNNs (ResNet18, VGG16, Custom CNN).
   • Descobertas: As acurácias previstas pelo SETA para os modelos individuais ficaram dentro de 2-3% das acurácias reais, identificando corretamente a "Custom CNN" como o modelo de pior desempenho.
3. Sistema OCR: Um pipeline baseado em texto usando EasyOCR.
   • Descobertas: O framework foi adaptado usando a distância de Levenshtein como a relação metamórfica. Ele conseguiu quantificar a robustez e atribuir falhas a módulos específicos com base em desvios de sequência de texto, demonstrando aplicabilidade além de pipelines de visão.

5. Significância e Alegações

O artigo posiciona o SETA como uma prova de conceito para o diagnóstico de falhas emergentes em sistemas de IA composta. Sua significância reside em preencher a lacuna entre o teste de ponta a ponta e o teste de componente isolado.

• Precisão Diagnóstica: Diferente de ferramentas que apenas detectam que uma falha ocorreu, o SETA fornece uma atribuição estatística de qual módulo é o mais responsável, orientando engenheiros para submódulos vulneráveis.
• Escalabilidade: Ao utilizar relações metamórficas, ele contorna a necessidade de oráculos de verdade fundamental, tornando-o aplicável a pipelines complexos do mundo real onde a verdade fundamental intermediária é indisponível.
• Limitações e Trabalho Futuro: Os autores reconhecem modestamente que a atribuição atual é correlacional, não causal. Pontuações altas indicam uma associação com a falha, mas não provam definitivamente a causalidade. A precisão depende da completude das relações metamórficas criadas manualmente. Trabalhos futuros visam integrar inferência causal, síntese de programas para geração automática de MR e extensão para sistemas multimodais e de aprendizado por reforço.

Em resumo, o SETA estabelece uma base para o teste composicional e a localização de falhas explicável, oferecendo uma abordagem sistemática para garantir a confiabilidade de sistemas de IA complexos e de múltiplos componentes.