Model Reconciliation through Explainability and Collaborative Recovery in Assistive Robotics

Resumo Técnico: Reconciliação de Modelos através de Explicabilidade e Recuperação Colaborativa em Robótica Assistiva

Definição do Problema
Na robótica assistiva e em cenários de controle compartilhado, comportamentos inesperados do robô frequentemente decorrem de uma divergência entre o modelo mental do usuário humano sobre o mundo e o modelo interno do robô. Quando um robô falha ao executar uma tarefa (por exemplo, agarrar um objeto), o usuário pode não compreender o raciocínio do robô, levando a uma quebra de confiança e colaboração. As abordagens existentes de reconciliação de modelos frequentemente assumem que o robô possui um modelo formal completo do estado mental do humano, o que é irrealista em ambientes assistivos dinâmicos. Além disso, embora as explicações possam esclarecer por que uma falha ocorreu, elas não fornecem inerentemente um mecanismo para que o humano corrija as crenças errôneas do robô para recuperar-se da falha.

Metodologia
Os autores propõem um framework de reconciliação de modelos que utiliza Modelos de Fundação (especificamente Grandes Modelos de Linguagem [LLMs] e Modelos de Linguagem-Visão [VLMs]) para preencher a lacuna entre os modelos mentais do humano e do robô sem exigir um modelo formal pré-definido do usuário. O framework opera em três estágios:

1. Início e Geração de Explicação:

   • O processo é iniciado por uma consulta em linguagem natural do usuário (ex: "Por que você não consegue agarrar o copo esverdeado?").
   • Um fluxo de trabalho de LLM extrai entidades semânticas (objetos, ações, adjetivos) da consulta.
   • O sistema realiza uma busca de quatro etapas contra os modelos internos do robô:
     • Verificação de Banco de Dados de Objetos: Verifica se o objeto existe em sua base de conhecimento estática.
     • Verificação de Modelo de Ação (Passo 1): Determina se a ação é teoricamente possível dado o estado atual do mundo.
     • Verificação de Modelo de Mundo: Verifica se a instância específica do objeto é atualmente percebida e localizada pelo robô.
     • Verificação de Modelo de Ação (Passo 2): Identifica se a ação está bloqueada por pré-condições não atendidas (ex: um gripper não estando livre) ou se a ação simplesmente não foi treinada.
   • Com base nessa busca, o sistema prevê o tipo específico de divergência de modelo (ex: o robô não sabe que o objeto existe vs. o robô vê o objeto, mas não consegue agir) e gera uma explicação em linguagem natural.

2. Recuperação Colaborativa:

   • Se a explicação revelar uma discrepância que o usuário possa corrigir (ex: o robô perdeu um objeto ou possui uma crença errada de estado), o usuário fornece uma refutação (ex: "Mas a gaveta está fechada!").
   • Arbitragem por VLM: Um Modelo de Linguagem-Visão atua como um "oráculo" para validar a afirmação do usuário contra o feed da câmera do robô.
     • Para Erros de Percepção (DSO): Se o usuário afirma que um objeto está presente, o VLM tenta correspondê-lo na imagem. Se bem-sucedido, sugere movimentos do robô (ex: mover a cadeira de rodas) para melhorar a visão para detecção. Se o VLM não puder confirmar, mas o usuário insistir, o sistema pode sobrescrever o modelo de mundo para incluir o objeto.
     • Para Erros de Estado (DSA): Se o usuário corrige um estado (ex: "O micro-ondas está aberto"), o sistema mapeia essa correção em linguagem natural para o modelo de mundo simbólico (PDDL) e atualiza o grafo de ação de acordo.

3. Implementação:

   • O framework foi implementado em um manipulador móvel baseado em cadeira de rodas projetado para pessoas com deficiências motoras.
   • O sistema utiliza um VLM de pesos abertos local (Mistral-Small-3.2-24B-Instruct) com técnicas de Cadeia de Pensamento (Chain of Thought) e Prompt de Poucos Exemplos (Few-Shot Prompting) para lidar com o aterramento semântico e o raciocínio.

Principais Contribuições
O artigo apresenta contribuições em três níveis:

1. Teórico: Um framework de reconciliação de modelos para controle compartilhado em robótica assistiva que abrange a atualização bidirecional: o robô atualiza o humano via explicação, e o humano atualiza o robô via correção.
2. Metodológico: A integração de fluxos de trabalho de modelos de fundação aumentados com dados recuperados de módulos do robô (bancos de dados de objetos, modelos de mundo, grafos de ação). Esta abordagem elimina a necessidade de o robô modelar explicitamente todo o estado mental do usuário, permitendo ainda prever diferenças nas bases de conhecimento.
3. Experimental: Uma implementação completa e avaliação envolvendo um robô assistivo real e seu gêmeo digital, demonstrando a capacidade do sistema de lidar com cenários de vida diária.

Resultados
Os autores conduziram um estudo piloto em um robô real e dois experimentos (B1 e B2) em um gêmeo digital usando um conjunto de dados de 40 episódios (120 conversas de saída no total).

• Acurácia: O framework alcançou entre 78% e 100% de acurácia em diferentes testes de unidade. Especificamente, atingiu 100% de acurácia ao explicar falhas de localização de objetos, 78,79% ao comunicar erros de estado simbólico e 78,12% na geração de sugestões de recuperação.
• Comparação: No Experimento B1, o método proposto superou significativamente um baseline "ingênuo" de VLM que carecia de acesso aos modelos internos do robô, demonstrando que a habilidade do LLM de recuperar e sintetizar dados específicos dos módulos do robô é crucial para explicações precisas.
• Aterramento Semântico: O Experimento B2 mostrou que fornecer um dicionário de tradução para termos específicos do robô menos comuns (ex: mapear "ikea bagganas" para "armário") aumentou a acurácia na reconciliação de ações de 78,8% para 92,4%.
• Limitações: Os autores observam que as sugestões de movimento de recuperação (raciocínio espacial) mostraram menor acurácia, provavelmente devido a limitações do VLM específico utilizado. Além disso, adjetivos nas consultas às vezes causaram confusão, e o estudo foi limitado a um conjunto específico de cenários de vida diária.

Significância
O artigo afirma que este trabalho fornece um fluxo de trabalho prático para explicar comportamentos inesperados de robôs e permitir a recuperação colaborativa na robótica assistiva. Ao usar modelos de fundação para prever e explicar divergências de modelo, o sistema permite que humanos compreendam as crenças do robô e as corrijam ativamente, restaurando o entendimento compartilhado sem exigir a modelagem complexa e pré-definida do usuário. Os autores enfatizam que, embora a implementação atual seja modesta e limitada a cenários específicos, ela estabelece um pipeline viável para transparência e confiança em equipes humano-robô, pavimentando o caminho para trabalhos futuros sobre otimalidade de plano, desalinhamento de objetivos e instâncias de objetos mais diversas.