Resumo Técnico: Robôs Influenciando Humanos para Revelar seus Objetivos durante Colaboração e Competição

Declaração do Problema

Robôs operando em ambientes compartilhados com humanos devem inferir intenções ou objetivos de alto nível do humano para agir de forma eficiente. No entanto, a inferência de objetivos é desafiadora devido à observabilidade parcial, sensores ruidosos e, mais criticamente, o fato de que muitos objetivos humanos distintos compartilham sequências iniciais de ações sobrepostas. Métodos de observação passiva padrão, como atualizações de crença Bayesiana, frequentemente convergem muito lentamente sob estas condições, deixando o robô incerto durante uma parte significativa da interação. Além disso, a dependência de comunicação verbal é frequentemente impraticável devido a restrições físicas, complexidade da tarefa ou pelo fardo que coloca sobre o humano. O artigo aborda a necessidade de uma estratégia unificada que permita aos robôs influenciar ativamente o comportamento humano para revelar seus objetivos mais cedo na interação, aplicável tanto a cenários colaborativos quanto competitivos.

Metodologia

Os autores propõem um framework unificado centrado em Pontos de Decisão Críticos (CDPs) e Planejamento de Horizonte Recedente (RHP).

1. Pontos de Decisão Críticos (CDPs)

Um CDP é definido como um estado no ambiente compartilhado onde estratégias humanas concorrentes (políticas associadas a diferentes objetivos candidatos) prescrevem ações imediatas significativamente diferentes.

• Formalização: Os autores quantificam a "informatividade" de um estado $s$ usando uma medida de divergência de política condicionada ao objetivo $M(s, H)$. Esta medida calcula a divergência total de pares entre as distribuições de ação induzidas pelas políticas para diferentes objetivos candidatos $g \in G$.
• Identificação: Um estado é identificado como um CDP se a divergência $M(s, H)$ exceder um limiar $\theta$. Observar a ação do humano em um CDP fornece informação máxima para distinguir entre objetivos concorrentes.

2. Estratégia de Planejamento de Horizonte Recedente (RHP)

Para conduzir ativamente a interação em direção aos CDPs, o robô emprega uma abordagem RHP. Em vez de esperar passivamente que o humano alcance um CDP, o robbô planeja uma sequência de ações para guiar o humano em direção a esses estados enquanto equilibra o progresso da tarefa.

• Expansão de Árvore: O robô expande uma árvore de busca de profundidade $D_H$, alternando entre ramos de ação do robô e ramos de resposta do humano. As respostas humanas são amostradas do banco de políticas $\bar{\pi}_g$ correspondente à crença atual do robô sobre o objetivo do humano.
• Função de Custo: O planejador avalia os nós folha usando uma função de custo ponderada $J$:
  $$J = \lambda_1 C_{task} + \lambda_2 M_{informativeness}$$
  • Custo da Tarefa ($C_{task}$): Garante que as ações do robô apoiem a tarefa (ex: selecionando ações gerais em colaboração ou minimizando a distância em competição).
  • Custo de Informatividade ($M_{informativeness}$): Mede a divergência das políticas condicionadas ao objetivo no estado folha. No cenário colaborativo, isso é calculado como a dissimilaridade entre a crença sobre os objetivos dado o histórico e a crença dado a sequência futura. No cenário competitivo, é a distância até o CDP pré-computado mais próximo.
• Execução: O robô executa a primeira ação do caminho que minimiza $J$, observa a resposta do humano, atualiza sua crença via regra de Bayes e replaneja.

3. Cenários de Aplicação

O framework é validado em dois cenários distintos:

• Cenário 1: Culinária Colaborativa (Totalmente Observável): Um humano e um robô alternam turnos preparando uma de 30 receitas. Muitas receitas compartilham passos iniciais (ex: coletar água, misturar). O robô usa RHP para selecionar ações gerais que mantenam as opções abertas enquanto empurram o humano em direção a ingredientes específicos (CDPs) que disambiguam a receita.
• Cenário 2: Esconde-Esconde Competitivo (Parcialmente Observável): Um robô buscador tenta capturar um humano controlador de esconderijo. A estratégia do hider (escondedor) está oculta. O robô pré-computa CDPs no mundo de grade e usa RHP para manobrar o hider para esses estados (frequentemente ao gatilhar manobras evasivas) para observar a política subjacente do hider.

Principais Contribuições

1. Identificação de CDPs: O artigo demonstra que as intenções humanas podem ser reveladas significativamente mais cedo se o robô conduzir ativamente a interação para um pequeno conjunto de estados altamente informativos (CDPs), definidos como estados onde as estratégias concorrentes prescrevem ações diferentes.
2. Framework Unificado: Os autores fornecem uma definição formal e condicionada ao objetivo de CDPs e um planejador RHP acompanhante que equilibra progresso de tarefa e ganho de informação. Este é o primeiro método de previsão de objetivo unificado mostrado para operar efetivamente através de interações tanto cooperativas (totalmente observáveis) quanto competitivas (parcialmente observáveis).
3. Validação Empírica: A abordagem é avaliada tanto em simulação quanto em robôs reais (UR-5e para culinária, Turtlebot3 para esconde-esconde), mostrando desempenho superior em relação às baselines em termos de velocidade e precisão de inferência.

Resultados

O método proposto foi comparado contra Delegação Bayesiana (uma baseline de atualização de crença passiva) e Maximização de Ganho de Informação (uma baseline ativa que maximiza o ganho de informação imediato sem considerar o alinhamento com a tarefa).

• Culinária Colaborativa:
  • Velocidade de Inferência de Objetivo: O método proposto identificou o objetivo do humano significativamente mais cedo que as baselines. O "primeiro palpite correto" ocorreu no primeiro terço da interação, e o "último palpite incorreto" foi resolvido por volta do meio, enquanto as baselines permaneceram incertas por mais tempo.
  • Eficiência: O método resultou no menor número de "passos extras" (0,70 passos em média) comparado à Delegação Bayesiana (11,0 passos) e à Maximização de Ganho de Informação (7,02 passos).
  • Ablação: Remover o histórico temporal (Vanilla CDP) ou o termo de progresso da tarefa levou a um desempenho subótimo, confirmando a necessidade tanto da consciência de histórico quanto do alinhamento com a tarefa.
• Esconde-Esconde Competitivo:
  • Tempo de Captura: Em simulações e testes no mundo real, o buscador usando a estratégia CDP-RHP capturou o hider mais rápido do que um explorador aleatório ou um buscador que simplesmente minimizava a distância até o hider.
  • Inferência de Estratégia: Ao guiar o hider em direção aos CDPs, o buscador pôde observar a política subjacente do hider mais rapidamente, permitindo uma interceptação mais rápida.

Significância e Alegações

O artigo afirma que o insight central — guiar ativamente as interações para estados onde as estratégias humanas divergem — fornece um mecanismo robusto para inferência rápida de objetivos.

• Superação de Sobreposição: O método aborda especificamente o desafio de sequências de ações sobrepostas, que frequentemente confundem observadores passivos. Ao selecionar ações que são "gerais" o suficiente para serem seguras, mas "específicas" o suficiente para forçar uma decisão, o robô acelera a desambiguação.
• Versatilidade: O framework é significativo porque não depende de um modo de interação fixo (colaborativo vs. competitivo) ou nível de observabilidade. Ele se adapta alterando a forma como a função de custo é ponderada e como os CDPs são computados (online vs. pré-computados).
• Ativo vs. Passivo: Os autores argumentam que a inferência rápida de objetivos depende não apenas de como o robô atualiza suas crenças, mas de se o robô pode guiar a interação para situações onde evidências informativas se tornam disponíveis. O framework CDP permite que o robô aja de formas que tornem o comportamento humano futuro mais diagnóstico.

Os autores permanecem modestos quanto às limitações, reconhecendo que a abordagem atual assume ambientes determinísticos, atores humanos racionais, interações baseadas em turnos e a disponibilidade de bancos de políticas explícitos. Eles sugerem que trabalhos futuros devem abordar mudanças de objetivos, espaços de estados contínuos e a integração de interações baseadas em linguagem.