Counterfactual Reasoning for Causal Responsibility Attribution in Probabilistic Multi-Agent Systems

Resumo Técnico: Raciocínio Contrafactual para Atribuição de Responsabilidade Causal em Sistemas Multiagente Probabilísticos

Declaração do Problema
O artigo aborda o desafio da alocação de responsabilidade em Sistemas Multiagente (MAS), especificamente em ambientes probabilísticos onde múltiplos agentes interagem e influenciam conjuntamente os resultados. O problema central é duplo:

1. Atribuição Retrospectiva: Como quantificar de forma justa a extensão na qual agentes individuais são responsáveis por um resultado específico (por exemplo, uma colisão), dado um perfil de estratégias e as capacidades dos agentes. Isso exige distinguir entre agentes que meramente participaram e aqueles cujas ações foram causalmente significativas, particularmente quando os agentes possuem probabilidades variadas de sucesso ou falha (por exemplo, um agente pode parar com certeza enquanto outro não pode).
2. Raciocínio Estratégico: Como os agentes devem escolher suas estratégias quando são "conscientes da responsabilidade", ou seja, quando ponderam suas recompensas esperadas contra as potenciais penalidades ou graus de responsabilidade que podem incorrer por resultados indesejáveis.

Metodologia
Os autores modelam o sistema como um Jogo Estocástico Concorrente de Múltiplos Jogadores (CSG). Os agentes empregam estratégias sem memória (comportamentais), mapeando estados para distribuições de probabilidade sobre ações. A metodologia prossegue em três etapas principais:

1. Formalização da Responsabilidade Contrafactual (bCR):

   • O artigo adota uma abordagem contrafactual retroativa baseada no teste Elemento Necessário de um Conjunto Suficiente (NESS). Um agente $i$ assume responsabilidade por um resultado $\phi$ se existir uma coalizão $J$ (excluindo $i$) tal que as estratégias de $J$ sozinhas não garantem $\phi$, mas $J \cup \{i\}$ sim.
   • Para passar da atribuição qualitativa para a quantitativa, os autores utilizam o valor de Shapley. Eles definem uma função característica $v_{\vec{\sigma}, \phi}(A)$ representando a probabilidade mínima de $\phi$ ocorrer quando a coalizão $A$ segue um perfil de estratégia específico $\vec{\sigma}_A$, enquanto os agentes fora de $A$ agem de forma ótima para minimizar a probabilidade de $\phi$ (assumindo que $\phi$ é indesejável).
   • O grau de responsabilidade $D_i(\vec{\sigma}, \phi)$ é calculado como o valor de Shapley da contribuição marginal do agente $i$ à probabilidade de $\phi$ através de todas as coalizões possíveis.

2. Lógica para Verificação (PATL-SR):

   • Os autores estendem o PATL (Lógica Temporal Alternada Probabilística) com um novo operador $\langle A \rangle D_{\bowtie d} [bCR_i(\vec{\sigma}, \psi)]$. Isso permite raciocinar sobre se o grau de responsabilidade contrafactual retroativa para o agente $i$ satisfaz um limite específico $d$.
   • A lógica incorpora recompensas cumulativas e propriedades temporais (alcançabilidade limitada/segurança).

3. Tomada de Decisão Estratégica (Equilíbrio de Nash):

   • Uma função utilidade consciente da responsabilidade é definida: $u_i(\vec{\sigma}) = \text{Recompensa Esperada} - \lambda \cdot D_i(\vec{\sigma}, \phi)$, onde $\lambda$ é um coeficiente que equilibra recompensa e responsabilidade.
   • O problema de encontrar estratégias estáveis é enquadrado como o cálculo de um Equilíbrio de Nash (NE).
   • Para resolver isso, os autores introduzem um Sistema Multiagente Estocástico Paramétrico (PSMAS), codificando estratégias sem memória como variáveis. Eles demonstram que, para objetivos de alcançabilidade e segurança, a função utilidade é quase-côncava (especificamente linear nos parâmetros da estratégia), permitindo que o cálculo do NE seja reduzido à resolução de um sistema de equações sobre a teoria existencial dos números reais.

Principais Contribuições

• Estrutura Formal para bCR: O artigo introduz uma definição quantitativa de responsabilidade contrafactual retroativa em CSGs probabilísticos usando o valor de Shapley. Essa estrutura garante que a responsabilidade seja alocada com base na contribuição marginal para a probabilidade de um resultado.
• Propriedades Teóricas: Os autores provam formalmente que seu método de atribuição satisfaz propriedades desejáveis chave:
  • Eficiência: A soma das responsabilidades alocadas equivale ao valor atribuível total (a diferença entre a probabilidade real do resultado e a probabilidade mínima alcançável).
  • Simetria: Agentes com contribuições idênticas recebem responsabilidade igual.
  • Jogador Nulo: Agentes que não influenciam o resultado recebem responsabilidade zero.
  • Monotonicidade e Aditividade: A responsabilidade comporta-se consistentemente quando os resultados são expandidos ou combinados (sob condições específicas de disjunção/evitabilidade).
• Lógica e Complexidade: Os autores propõem o PATL-SR, uma lógica que estende o PATL com operadores de responsabilidade. Eles provam que a verificação de modelos do PATL-SR permanece em PSPACE, igualando a complexidade do rPATL padrão.
• Cálculo Estratégico: O artigo fornece um método para calcular perfis de estratégia de Equilíbrio de Nash onde os agentes otimizam uma função utilidade incorporando tanto recompensas quanto responsabilidade. Eles mostram que, para objetivos de alcançabilidade e segurança, esse cálculo também está em PSPACE.

Resultados

• Validação por Estudo de Caso: O exemplo em execução de dois veículos autônomos (A1 e A2) aproximando-se de uma interseção demonstra a estrutura. Em um cenário onde ambos os agentes escolhem não frear, o modelo calcula que A1 carrega um grau de responsabilidade maior (0,64) do que A2 (0,24). Isso alinha-se com a intuição porque A1 tem uma probabilidade maior de parar (0,8) em comparação com A2 (0,4), tornando a falha de A1 em parar mais significativa contrafactualmente.
• Limites de Complexidade: O artigo estabelece que adicionar raciocínio sobre responsabilidade não aumenta a classe de complexidade computacional da verificação ou da descoberta de equilíbrio além de PSPACE.
• Existência de Equilíbrio: Ao aproveitar a quase-cavidade da função utilidade para objetivos temporais específicos, o artigo confirma que perfis de estratégia estáveis (Equilíbrios de Nash) podem ser calculados onde os agentes trocam tempo de viagem (recompensa) contra o risco de colisão (responsabilidade).

Significado e Alegações
O artigo alega fornecer um passo fundamental em direção à IA confiável ao permitir "agentes conscientes da responsabilidade". Seu significado reside em:

• Interpretabilidade: A estrutura é construída sobre o valor de Shapley, um conceito amplamente compreendido em diversas disciplinas, oferecendo um método interpretável para atribuição em vez de um julgamento moral de "caixa preta".
• Rigor Formal: Ele une a verificação formal (lógica, verificação de modelos) e a teoria dos jogos (equilíbrio de Nash, maximização de utilidade) para abordar as questões duplas de como atribuir responsabilidade e como os agentes devem agir dada essa atribuição.
• Aplicabilidade Prática: Os autores observam que, embora não aleguem formalizar a totalidade da responsabilidade moral (um domínio filosófico complexo), sua abordagem oferece uma ferramenta rigorosa e quantitativa para projetar sistemas onde os agentes devem levar em conta as consequências de suas ações em cenários probabilísticos e multiagente.

O artigo conclui reconhecendo limitações, como o foco atual em estratégias sem memória, e sugere trabalhos futuros na extensão da estrutura para agentes com memória finita e na integração da responsabilidade em sistemas normativos e aprendizado por reforço multiagente.