Learning Probabilistic Responsibility Allocations for Multi-Agent Interactions

Título: Aprendizado de Alocações Probabilísticas de Responsabilidade para Interações Multi-Agente

1. Problema e Motivação

O design de sistemas autônomos centrados no humano exige não apenas prever o comportamento humano, mas compreender os princípios que regem como as pessoas interagem e negociam restrições compartilhadas (como a segurança).

• O Desafio: Em interações complexas (ex: trânsito), os agentes devem equilibrar seus objetivos individuais (ex: chegar ao destino rápido) com o bem-estar coletivo. A "responsabilidade" é definida aqui como a disposição de um agente em desviar de sua política desejada para garantir a segurança compartilhada.
• Limitações do Estado da Arte: Trabalhos anteriores modelavam a responsabilidade de forma determinística (um único valor de responsabilidade para uma dada cena). No entanto, o comportamento humano é inerentemente multimodal e incerto; em uma mesma situação, diferentes agentes podem assumir níveis variados de responsabilidade dependendo do contexto. Modelos determinísticos falham em capturar essa variabilidade e incerteza.
• Objetivo: Desenvolver um modelo que aprenda uma distribuição probabilística sobre as alocações de responsabilidade, permitindo representar a incerteza multimodal nas interações multi-agente.

2. Metodologia

A abordagem proposta combina Funções de Barreira de Controle (CBFs), Otimização Diferenciável e Modelos Generativos Latentes (CVAE).

A. Definição de Responsabilidade via CBFs

O trabalho baseia-se em Funções de Barreira de Controle (CBFs) para garantir a segurança.

• Um filtro de segurança CBF ajusta minimamente os controles desejados ($u_{des}$) para garantir que o sistema permaneça em um conjunto seguro.
• Alocação de Responsabilidade ($\gamma$): Introduz-se um vetor de pesos $\gamma = [\gamma_1, ..., \gamma_N]$ na função de custo do filtro de segurança.
  • Um $\gamma_i$ alto significa que é "custoso" para o agente $i$ desviar de seu controle desejado (baixa responsabilidade).
  • Um $\gamma_i$ baixo significa que o agente está disposto a desviar mais (alta responsabilidade).
• O problema é formulado como uma otimização quadrática (QP) que projeta os controles desejados em controles seguros, penalizando desvios de acordo com $\gamma$.

B. Aprendizado Probabilístico (CVAE)

Como não existem rótulos de "ground truth" para responsabilidade ($\gamma$), o modelo deve aprender a distribuição $p(\gamma | s)$ indiretamente, através dos controles observados ($u$).

• Arquitetura: Utiliza-se um Autoencoder Variacional Condicional (CVAE).
  • Entrada (Condicionamento): O estado da cena $s$ (histórico de trajetórias, posições, velocidades).
  • Variável Latente ($z$): Uma distribuição Gaussiana que captura a incerteza multimodal.
  • Decodificador: Mapeia a latente $z$ para a alocação de responsabilidade $\gamma$ através de uma rede neural ($g_\phi(z)$).
  • Camada de Otimização Diferenciável: O vetor $\gamma$ é passado para o filtro de segurança CBF (o Problema 2), que gera os controles previstos $\hat{u}$.
• Objetivo de Treinamento: Minimizar a divergência entre os controles observados no dataset e os controles previstos pelo filtro de segurança, maximizando simultaneamente o Evidence Lower Bound (ELBO) para garantir que a distribuição latente seja bem estruturada.

C. Modelagem Sequencial (Transformer)

Para lidar com cenas complexas e variáveis no tempo (agentes entrando e saindo):

• Utiliza-se uma arquitetura baseada em Transformers (inspirada no AgentFormer).
• O modelo processa sequências de estados de múltiplos agentes, permitindo variabilidade no número de agentes e no histórico temporal.
• O encoder processa o histórico de estados e controles para inferir a latente $z$, e o decoder gera a distribuição de responsabilidade para o passo de tempo atual.

3. Contribuições Principais

1. Formulação Probabilística: Uma nova formulação para alocação de responsabilidade em cenários multi-agente que estende trabalhos anteriores determinísticos, capturando a incerteza multimodal inerente ao comportamento humano.
2. Modelo Sequencial Responsável: Um modelo sequence-to-sequence baseado em Transformers que integra previsões de responsabilidade com filtros de segurança CBF, capaz de lidar com um número variável de agentes e contextos complexos.
3. Validação Empírica: Demonstração da eficácia do modelo em dados sintéticos e no dataset real de direção INTERACTION, mostrando que o modelo aprende padrões de responsabilidade interpretáveis e alinhados com a intuição humana.

4. Resultados e Avaliação

Os experimentos foram conduzidos em dois cenários:

A. Dados Sintéticos

• Objetivo: Verificar se o modelo consegue reconstruir uma distribuição bimodal de responsabilidade conhecida.
• Resultado: O CVAE com espaço latente Gaussiano conseguiu recuperar com sucesso a natureza bimodal da responsabilidade e gerar uma distribuição de controles induzidos que correspondia aos dados de verdade (ground truth), validando a abordagem teórica.

B. Dataset INTERACTION (Dados Reais de Trânsito)

• Configuração: Dados de drones em interseções complexas (10Hz).
• Métricas: Avaliação indireta através da qualidade das trajetórias previstas (ADE - Average Displacement Error e Miss Rate), já que $\gamma$ não é observável.
• Comparação: O modelo foi comparado contra:
  1. Previsão direta de controles (sem filtro de responsabilidade).
  2. Seguir apenas o controle desejado ($u_{des}$).
  3. Variações da função de ativação para $\gamma$ (softmax, clip, tanh).
• Desempenho:
  • Todos os modelos baseados em responsabilidade superaram a heurística de seguir o controle desejado ($u_{des}$).
  • O modelo com ativação tanh (permitindo $\gamma$ negativos, o que incentiva desvios mais agressivos do controle desejado) apresentou o melhor equilíbrio entre ADE e taxa de erro, capturando modos de trajetória mais diversificados.
• Insights Qualitativos:
  • O modelo aprendeu intuitivamente que o agente que chega primeiro a uma interseção (ex: carro azul) tem maior responsabilidade (menor $\gamma$) para manter o fluxo, enquanto o agente que chega depois (ex: carro verde) assume mais responsabilidade (menor $\gamma$) para ceder a passagem.
  • A distribuição de $\gamma$ mostrou-se multimodal em momentos de decisão crítica (ex: acelerar ou frear), refletindo a incerteza humana.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na modelagem de interações sociais para sistemas autônomos:

• Interpretabilidade: Ao invés de tratar a responsabilidade como uma "caixa preta" ou um valor fixo, o modelo fornece uma distribuição que explica como e por que os agentes podem agir de certas formas.
• Segurança e Conformidade Social: O modelo permite projetar agentes autônomos que não apenas evitam colisões, mas o fazem de maneira socialmente aceitável, entendendo as normas implícitas de quem deve ceder a vez.
• Viabilidade Computacional: A integração de otimização diferenciável (QP) dentro de uma rede neural permite o treinamento eficiente sem a necessidade de rótulos de responsabilidade explícitos.

Trabalhos Futuros: Os autores sugerem incorporar geometria de estradas complexa, sinais visuais, e refinar a seleção de agentes relevantes (filtragem baseada em alcançabilidade em vez de apenas distância) para melhorar a diversidade e precisão em cenários do mundo real.