Resumo Técnico: MindClaw

Declaração do Problema

Os benchmarks atuais de Teoria da Mente (ToM) avançaram no reconhecimento de estados mentais em domínios textuais e multimodais, mas tratam majoritariamente a ToM como uma tarefa de resposta a perguntas ou predição de rótulos offline. Essas formulações existentes falham em testar se um agente incorporado pode manter uma conexão com um ambiente em mudança, atualizar crenças específicas de atores ao longo do tempo, decidir quando o raciocínio é necessário e intervir apelly quando a assistência for verdadeiramente útil.

Em ambientes reais centrados no ser humano, um assistente que age por padrão pode ser disruptivo ou prejudicial. O desafio central não é meramente inferir as crenças, desejos e intenções de um humano (o framework Belief–Desire–Intention ou BDI), mas determinar o tempo preciso para a intervenção. Um agente deve distinguir entre cenários onde um humano está progredindo normalmente (exigindo nenhuma ação) e cenários onde um humano está agindo sob uma falsa crença ou objetivo oculto (exigindo uma intervenção mínima e útil). Frameworks existentes centrados em robôs, como o MindPower, moveram-se em direção à geração de ações, mas ainda operam primariamente como processos de decisão estáticos de estágio final, em vez de sistemas de controle cognitivo de malha fechada em tempo real.

Metodologia

Os autores propõem o MindClaw, um framework que estende o raciocínio de ToM centrado em robôs da conclusão de hierarquia estática para um cenário de malha fechada em tempo real focado em intervenção de precisão. O sistema é projetado para permanecer conectado a um ambiente executável (ex: VirtualHome, ThreeDWorld ou replays de vídeo estáticos) e decidir dinamicamente se atualiza a memória, raciocina, age ou permanece em silêncio.

Arquitetura

O MindClaw consiste em três camadas primárias:

1. Interface de Entrada: Aceita entradas de múltiplas fontes, incluindo vídeos estáticos, fluxos de simuladores ao vivo e eventos de controle humano, normalizando-os em uma representação de janela comum.
2. Camada Claw (Controle): O mecanismo de controle central que mantém o estado online e orquestra o loop de interação. Contém:
   • Engine: Gerencia o loop de execução, garantindo que a observação preceda as decisões de gatilho.
   • Adapter: Converte diversas fontes de entrada em um formato canônico para a camada de raciocínio.
   • Memory: Armazena uma tabela de crenças separando fatos visualmente fundamentados de crenças específicas do ator (ex: actor_beliefs[actor][object] → location). Isso permite que o sistema detecte discrepâncias entre a realidade e o estado mental de um ator.
   • Trigger (Gatilho): Uma habilidade cognitiva incorporada que decide a próxima operação interna ($z_t$) baseada na observação atual, memória e slots candidatos.
3. Camada de Raciocínio (Serviços Baseados em Modelo): Fornece três capacidades modulares:
   • Observação: Extrai descrições estruturadas da cena.
   • Raciocínio Mental: Invocado apenas quando o gatilho decide, este módulo infere se um ator está agindo sob uma falsa crença ou objetivo oculto e determina se a intervenção é recomendada.
   • Geração de Ação: Converte resultados de raciocínio em ações de robô executáveis ou um comando "none" (noop).

O Gatilho como uma Habilidade Cognitiva Incorporada

A inovação central é formular o gatilho como uma habilidade que seleciona operações cognitivas intermediárias em vez de mapear o vídeo diretamente para ações de robô. O espaço de operação inclui:

• Atualizar fatos visuais ou crenças do ator.
• Executar raciocínio mental.
• Executar geração de ação.
• Noop: Escolher explicitamente não fazer nada.

O gatilho é implementado como uma política condicionada à habilidade ($\pi_\theta$) que fatura a decisão em seleção de operação (o que fazer) e fundamentação de slot (quem/o quê/onde).

Coleta de Habilidades e Inferência

Para otimizar o gatilho, os autores coletam "habilidades cognitivas incorporadas" de trajetórias corretas e incorretas pareadas. Um LLM forte resume essas trajetórias em padrões de decisão reutilizáveis (regras), categorizados como:

• Fortemente Preferido ($S^+$): Condições determinísticas (ex: correspondências de regex) que forçam uma operação específica.
• Preferido ($S^\pm$): Condições que sugerem uma operação, mas requerem julgamento do modelo.
• Negativo ($S^-$): Condições que excluem uma operação.

Durante a inferência, o sistema primeiro aplica correspondências determinísticas para regras fortes. Se nenhuma regra forte se aplicar, um modelo de gatilho aumentado por habilidades prevê a operação usando as condições preferidas e negativas restantes.

Principais Contribuições

1. Extensão de Malha Fechada: O trabalho estende o raciocínio de ToM centrado em robôs da geração de decisão de estágio final para um cenário de malha fechada em tempo real, onde o agente mantém o estado e age de volta em um ambiente em mudança.
2. Intervenção de Precisão: Estabelece a intervenção de precisão como o objetivo central: o robô deve gerar ações úteis apenas quando necessário e permanecer em silêncio caso contrário, evitando ajuda disruptiva ou desnecessária.
3. Habilidade de Gatilho Cognitivo: O gatilho é formulado como uma habilidade cognitiva incorporada que realiza a seleção de operação intermediária sobre observação, memória de crença e candidatos de cena. Isso permite o controle explícito sobre o tempo de atualizações de memória, raciocínio e geração de ação.

Resultados Experimentais

O framework foi avaliado no Benchmark MindPower, que inclui 590 exemplos de vídeo-texto envolvendo correção de falsa crença e inferência de objetivo implícito.

• Baselines: Modelos de Linguagem-Vídeo (VLMs) diretos tiveram dificuldades significativas com consciência de tarefa (Task Accuracy, TA) e calibração de intervenção (Precision Intervention Accuracy, PIA). Muitos baselines atingiram TA próxima de zero, indicando uma falha em identificar contextos de estado mental relevantes.
• Desempenho do MindClaw: O MindClaw obteve o melhor desempenho geral, superando significativamente os baselines diretos tanto em TA (14,36% vs. <2% para a maioria dos baselines) quanto em PIA (36,63% vs. <20% para a maioria dos baselines).
• Satisfação de Malha Fechada: O MindClaw manteu um escore de Satisfação de Ação / Malha Fechada (CS) de 100%, demonstrando que a melhoria no tempo e na precisão não ocorreu às custas da validade da ação.
• Estudos de Ablação:
  • Tabela de Crenças: Remover a tabela de crenças explícita causou uma queda drástica no desempenho (ex: a TA do Qwen3-4B caiu de 9,51% para 1,64%), confirmando a necessidade de memória específica do ator.
  • Guia de Habilidade: Remover as regras baseadas em habilidades reduziu a precisão significativamente. Combinar o ajuste fino supervisionado com o guia de habilidades rendeu a maior precisão não-noop (64,14%), provando que as habilidades fornecem conhecimento intermediário estruturado essencial para a tomada de decisão.

Significância e Alegações

O artigo afirma que o MindClaw demonstra a importância crítica da otimização da habilidade de gatilho para a assistência de ToM incorporada em malha fechada. Ao desacoplar o controle cognitivo interno (o gatilho) do comportamento externo do robô, o sistema pode gerenciar efetivamente o equilíbrio entre utilidade e intrusividade.

Os autores enfatem que a assistência real incorporada não é equivalente a sempre produzir uma ação. A capacidade de permanecer em silêncio quando um humano está alinhado com o ambiente, e de intervir precisamente quando existe uma discrepância, é uma capacidade fundamental para ajudantes interativos úteis. O MindClço fornece um framework onde o agente raciocina explicitamente sobre quando raciocinar e quando agir, indo além do simples reconhecimento de estado mental para uma intervenção de precisão calibrada.