An Abstract Architecture for Explainable Autonomy in Hazardous Environments

Resumo Técnico: Uma Arquitetura Abstrata para Autonomia Explicável em Ambientes Perigosos

Definição do Problema
Sistemas robóticos autônomos são cada vez mais propostos para ambientes perigosos (ex: instalações nucleares, condições climáticas extremas) para mitigar riscos aos trabalhadores humanos. No entanto, a integração da autonomia em setores de missão crítica, como a indústria nuclear, exige que esses sistemas sejam "demonstravelmente confiáveis" tanto para operadores quanto para reguladores. A literatura recente indica que a explicabilidade está intimamente ligada à transparência e à confiabilidade. Existe uma lacuna crítica nas práticas de engenharia atuais: a explicabilidade é frequentemente tratada como um recurso adicional, em vez de um princípio de design central. Além disso, há uma carência de modelos arquiteturais padronizados que permitam que sistemas autônomos justifiquem suas decisões aos humanos, particularmente no que diz respeito tanto a ações passadas quanto a inações futuras (ou seja, por que um sistema não pode realizar uma tarefa solicitada).

Metodologia
Os autores propõem uma arquitetura abstrata projetada para incorporar a explicabilidade diretamente no ciclo de tomada de decisão de sistemas autônomos. A metodologia baseia-se nos seguintes componentes principais e escolhas de design:

• Executivo Central: A arquitetura roteia todas as informações do sistema através de um "Executivo Central". Este componente atua como um hub, garantindo que os dados necessários para a explicação estejam sempre disponíveis quando necessário. Ele evita silos de informação onde a tomada de decisão ocorre separadamente dos componentes responsáveis por gerar explicações.
• Abordagem de IA Híbrida: O Executivo Central utiliza um agente BDI (Belief-Desire-Intention - Crença-Desejo-Intenção) para a tomada de decisão executiva de alto nível. Esta é uma abordagem de IA simbólica onde o agente interpreta dados ambientais em declarações lógicas (crenças), alinha-os com objetivos de longo prazo (desejos) e seleciona planos (intenções) de forma racional.
  • Restrição de IA Subsimbólica: A aprendizagem de máquina ou redes neurais são restritas a funções granulares de baixo nível (ex: classificação de visão), em vez de decisões executivas de alto nível. Essa separação garante que a lógica central de decisão permaneça inspecionável e verificável.
• Explicação de Modo Duplo: A arquitetura suporta dois modos distintos de explicação:
  1. Ação Passada: Justificar decisões já tomadas (ex: "Por que você seguiu pela rota A?"). O componente Explainer acessa o rastro de eventos, crenças e seleções de planos do agente BDI para construir uma narrativa causal.
  2. Inação Futura: Explicar por que um sistema não pode ou não irá realizar uma ação solicitada (ex: "Por que você não pode ir até lá?"). Isso envolve uma capacidade de "simulação" (dry-run), onde o Explainer aciona o ciclo de raciocínio do agente para avaliar a viabilidade de uma instrução específica frente às regras de segurança e crenças atuais, fornecendo uma justificativa prévia.
• Integração de Verificação: Ao utilizar um agente BDI, o sistema aproveita Métodos Formais (FM). Especificamente, a arquitetção é compatível com ferramentas como o Agent Java PathFinder (AJPF) e a linguagem Gwendolen, permitindo a verificação exaustiva das decisões executivas contra propriedades de lógica temporal antes da implantação.

Principais Contribuições

1. Arquitetura Abstrata: O artigo apresenta um modelo de design independente de framework (compatível com frameworks baseados em nós, como o ROS), que separa o raciocínio simbólico de alto nível da percepção/atuação de baixo nível, roteando todos os dados através de um Executivo Central.
2. Definição de Autonomia Explicável: Os autores definem "autonomia explicável" como um sistema capaz de justificar decisões para humanos usando técnicas simbólicas e subsimbólicas, focando especificamente nas consultas de "Por que" e "Por que não".
3. Exemplo Prático: Um cenário detalhado é fornecido envolvendo um rover sobre rodas em um depósito de resíduos nucleares. O exemplo demonstra como a arquitetura lida com uma ação passada (redirecionamento devido a um obstáculo) e uma inação futura (recusa de um comando para se aproximar demais de uma fonte de radiação) ao aproveitar o estado lógico do agente BDI.
4. Design Centrado nas Partes Interessadas: O artigo enfatiza que os requisitos de explicabilidade devem ser extraídos de todas as partes interessadas (operadores, reguladores) e adaptados ao contexto (ex: operações de emergência vs. operações nominais), em vez de assumir um formato de explicação universal.

Resultados e Alegações
O artigo não apresenta resultados experimentais empíricos ou um sistema totalmente implementado com estudos de usuário. Em vez disso, os "resultados" são teóricos e arquiteturais:

• A arquitetura proposta demonstra com sucesso como um agente BDI pode justificar logicamente tanto planos executados quanto planos rejeitados.
• A integração do Explainer com o Agente BDI permite a geração de explicações baseadas no estado lógico interno do agente (crenças e intenções), em vez de uma análise post-hoc de saídas de caixa-preta.
• A capacidade de "simulação" para inação futura é identificada como um mecanismo para verificar a adesão às regras de segurança antes da execução, oferecendo um método para construir confiança nas propriedades de segurança do sistema.

Significância
O artigo posiciona-se como um "artigo de visão" (vision paper) que fornece um modelo de design para a comunidade de engenharia. Sua significância reside em:

• Mudança de Paradigma: Argumentar que a explicabilidade deve ser "projetada para dentro" do sistema desde o início, de forma semelhante às propriedades de segurança e proteção, em vez de ser adicionada posteriormente.
• Ponte entre Confiança e Verificação: Conectar o conceito de explicabilidade com a verificação formal. Ao utilizar agentes BDI simbólicos, as decisões do sistema podem ser matematicamente verificadas, e essas propriedades verificadas podem ser traduzidas em linguagem natural para as partes interessadas.
• Relevância Regulatória: Abordar as necessidades específicas de indústrias cautelosas e de segurança crítica (como o setor nuclear), onde reguladores e trabalhadores exigem processos de tomada de decisão transparentes e justificáveis para confiar em sistemas autônomos.

Os autores concluem que o trabalho futuro envolve a implementação desta arquitetura utilizando a Linguagem de Análise e Design de Arquitetura (AADL) e o desenvolvimento posterior de métodos para extrair requisitos de explicabilidade específicos de diversas partes interessadas.