Resumo Técnico: Explicando Falhas de Sistemas Ciber-Físicos com Causalidade Atual

Declaração do Problema

Os modernos Sistemas Ciber-Físicos (CPS) autônomos, como carros autônomos, dependem cada vez mais de componentes de Redes Neurais (NN) de "caixa-preta" para percepção e controle. Embora esses sistemas devam operar de forma robusta em ambientes complexos e não vistos, sua opacidade torna a verificação formal antes da implantação intratável. Consequentemente, falhas inesperadas — onde o sistema viola sua especificação — são inevitáveis e podem levar a resultados catastróficos.

Os métodos atuais para explicar essas falhas são insuficientes. Estruturas de causalidade de tipo geral ou de tipo são voltadas para o futuro e probabilísticas, projetadas para predição em vez de explicar eventos passados específicos e raros. Além disso, aplicações existentes de causalidade atual (uma estrutura voltada para o passado para eventos específicos) têm sido limitadas a modelos simples de profundidade 2, como classificadores de imagem. Aplicar essas estruturas padrão diretamente a CPSs temporalmente estendidos (que envolvem dinâmicas contínuas, loops recursivos e tamanhos de entrada variáveis) leva a explicações incorretas. Especificamente, aplicações ingênuas falham em considerar:

1. A distinção entre parâmetros globais do ambiente e elementos locais.
2. O fato de que os CPSs observam apenas um subconjunto do ambiente antes que uma falha ocorra.
3. A existência de diferentes "tipos" de falhas (ex: colisões em diferentes pontos da trajetória) que um simples indicador binário de sucesso/falha não consegue distinguir.

Metodologia

O artigo propõe um novo framework que adapta a teoria da causalidade atual às restrições específicas da análise de falhas de CPS.

1. Extensões Teóricas à Causalidade Atual

Os autores estendem o framework padrão de causalidade atual (originalmente definido para classificadores) para lidar com CPSs, introduzindo três modificações críticas na construção do modelo causal:

• Diferenciação de Entrada (Parâmetros vs. Elementos): O ambiente é dividido em parâmetros (variáveis globais essenciais, como o formato da pista) e elementos (variáveis locais aditivas, como obstáculos). No modelo causal, os parâmetros são tratados como constantes exógenas (congelados em seu estado original) porque alterá-los muda o tipo fundamental de falha. Apenas os elementos são incluídos como variáveis endógenas sujeitas a intervenção (mascaramento).
• Restrições de Observação: Diferente dos classificadores que processam toda a entrada de uma vez, os CPSs processam o ambiente incrementalmente ao longo do tempo. O framework restringe as explicações potenciais apenas aos elementos do ambiente que foram observados pelo sistema antes da falha. Elementos não observados são excluídos do conjunto de explicação para evitar causalidade logicamente inválida (ex: culpar um obstáculo que o carro nunca viu).
• Abstração de Tipo de Falha: Para evitar o problema onde mudanças infinitesimais na trajetória quebram a condição de "mesma saída" exigida pela causalidade, os autores propõem abstrair a trajetória contínua em "tipos de falha" discretos. A variável de resultado $O$ não é definida meramente como um binário colisão/não-colisão, mas como uma classe específica de falha (ex: "colisão com o obstáculo $X$"). Isso garante que a explicação identifique a causa específica do evento de falha observado.

2. Algoritmos de Derivação de Explicação

O artigo apresenta dois algoritmos agnósticos ao sistema para derivar explicações suficientes (subconjuntos mínimos de elementos observados que, se mantidos em seus valores originais, garantem que a falha ocorra):

• Busca Exaustiva (Algoritmo 1): Este algoritmo realiza uma busca por força bruta sobre todos os subconjuntos de elementos observados. Ele intervém no ambiente removendo elementos e re-simulando para verificar se o tipo de falha é preservado. Embora garanta uma explicação ótima (mínima), é computacionalmente intratável para cenários complexos devido ao crescimento exponencial de execuções de simulação.
• Busca Guiada por Responsabilidade (Algoritmo 2): Para abordar a eficiência, os autores propõem um algoritmo heurístico baseado em responsabilidade causal.
  1. Aproximação: Ele amostra intervenções aleatórias para estimar o grau de responsabilidade de cada elemento observado (baseado em quão frequentemente sua remoção altera o resultado).
  2. Busca Heurística: Os elementos são classificados por responsabilidade. O algoritmo adiciona incrementalmente elementos de alta responsabilidade a uma explicação candidata até que o tipo de falha seja preservado.
  3. Minimização (Opcional): Uma etapa de pós-processamento opcional realiza uma busca exaustiva no subconjunto candidato resultante para garantir a minimidade.

Principais Contribuições

1. Framework Conceitual: O artigo introduz a aplicação da causalidade atual à explicação de falhas de CPS, identificando e resolvendo lacunas teóricas que surgem ao passar de classificadores estáticos para sistemas dinâmicos e temporalmente estendidos.
2. Diretrizes de Correção: Fornece diretrizes específicas para a construção de modelos causais para CPSs, enfatizando o tratamento de elementos não observados e a abstração de tipos de falha.
3. Algoritmos Práticos: Entrega dois algoritmos: um para derivação de explicação exata e ótima, e um segundo, heurístico guiado por responsabilidade, que equilibra precisão com custo computacional.
4. Validação Empírica: A abordagem é avaliada em um carro autônomo controlado por rede neural navegando em uma pista obstruída, demonstrando os compromissos entre otimalidade da explicação e eficiência de derivação.

Resultados Experimentais

Os autores avaliaram os algoritmos usando o simulador LiteRacer com 32 traços de falsificação envolvendo 6, 9, 12 e 15 obstáculos.

• Precisão: A Busca Exaustiva (ES) produziu consistentemente explicações mínimas. O algoritmo Responsabilidade-Guiada (RG) sem minimização produziu explicações maiores (menos precisas), com taxas de erro aumentando conforme o número de obstáculos subia. No entanto, a variante Responsabilidade-Guiada com Minimização (RGM) recuperou com sucesso a explicação mínima exata em todos os casos testados.
• Eficiência: A ES exigiu um número de execuções de simulação que cresceu exponencialmente com o número de obstáculos (ex: ~1.152 execuções para 15 obstáculos). Em contraste, as variantes RG e RGM exigiram drasticamente menos execuções (ex: ~200–400 execuções), escalando de forma muito mais moderada.
• Compromisso (Trade-off): Os resultados destacam um claro compromisso: o RG oferece alta eficiência, mas menor precisão; o RGM oferece uma abordagem equilibrada, alcançando precisão próxima da ótima com um esforço computacional significativamente reduzido em comparação com a ES.

Significância e Alegações

O artigo afirma abrir uma nova direção para compreender e lidar com falhas de CPS autônomos, fundamentando o processo na rigorosa teoria matemática da causalidade atual. Os autores afirmam que:

• Frameworks de causalidade padrão são insuficientes para CPSs devido à extensão temporal e observabilidade parcial.
• As diretrizes propostas são necessárias para derivar explicações corretas; a aplicação ingênua leva a resultados logicamente inválidos.
• O framework fornece um método "agnóstico ao sistema", o que significa que não requer acesso aos pesos internos da rede neural (caixa-preta pura), tornando-o aplicável a sistemas proprietários.
• O trabalho serve como um passo fundamental para sistemas autônomos explicáveis e confiáveis, especificamente ao permitir a localização de causas de falha e a geração de novos cenários de falha para mitigação.

Os autores permanecem modestos quanto ao escopo atual, observando que o framework lida atualmente com explicações suficientes (conjuntos mínimos que causam a falha) e baseia-se em modelos causais de profundidade 2. O trabalho futuro é identificado como a extensão do framework para capturar a natureza contínua e temporalmente estendida dos CPSs de forma mais profunda e explorar explicações necessárias.