Resumo Técnico: A Síndrome do "Sim-Senhor" em Agentes Robóticos Embutidos

Declaração do Problema

Os modelos visão-linguagem (VLMs) estão sendo cada vez mais implantados como planejadores de alto nível para robôs embutidos, traduzindo instruções em linguagem natural e observações visuais em planos de ação física. Existe uma lacuna crítica nos frameworks de avaliação atuais: enquanto a abstenção (a capacidade de reconhecer quando uma consulta não pode ser resolvida de forma confiável) foi estudada em Modelos de Linguagem de Grande Porte (LLMs) apenas de texto, os benchmarks existentes falham em capturar o ancoramento perceptual e as restrições físicas inerentes à robótica.

Em contextos embutidos, a "abstenção" é definida como a retenção da execução quando uma instrução é mal formulada, não fundamentada, ambígua ou fisicamente inviável, dado o cenário observado e as capacidades do agente. A falha em abster-se leva à execução incorreta de tarefas, ao acúmulo de erros em tarefas de múltiplos passos e à interação degradada. Sistemas atuais frequentemente recorrem à ação mesmo quando as instruções são ambíguas ou impossíveis, um comportamento que os autores denominam "Síndrome do Sim-Senhor".

Metodologia: Framework ROBOABSTENTION

Para abordar essa lacuna, os autores introduzem o ROBOABSTENTION, um framework escalável e auditável para gerar e avaliar instruções de abstenção fundamentadas em imagens do mundo real. O framework opera por meio de um pipeline de três fases projetado para garantir verificabilidade programática e reduzir alucinações no processo de geração de dados:

1. Ancoragem Visual Estruturada: Um VLM (Claude Sonnet 4.6 da Anthropic) extrai uma representação JSON estruturada da imagem de entrada. Esta fase é restrita à descrição perceptual (objetos, atributos, estados, localizações espaciais) usando vocabulários controlados. Crucialmente, o modelo é instruído a relatar apenas o que é diretamente observável e a identificar objetos ausentes ou implausíveis, evitando raciocínio a jusante nesta etapa.
2. Derivação Determinística de Restrições: Usando lógica baseada em regras na saída JSON estruturada, o sistema deriva deterministicamente instâncias candidatas para categorias específicas de abstenção. Esta fase é inteiramente não aprendida, garantindo que as condições para abstenção sejam matematicamente verificáveis com base na representação da cena.
3. Geração Controlada de Instruções: Instruções em linguagem natural são geradas usando modelos específicos de categoria. Esses modelos são instanciados apenas com os candidatos derivados na Fase 2, garantindo que as instruções geradas se alinhem estritamente à condição de abstenção pretendida (por exemplo, um modelo de "Inviabilidade Física" é preenchido apenas com pares objeto-localização que violam restrições de tamanho).

Taxonomia de Abstenção

O framework categoriza a abstenção em oito tipos distintos, organizados em três grupos:

• Ancoragem de Referência:
  • Referente Ausente: O objeto não existe na cena.
  • Referente Ambíguo: Múltiplos objetos satisfazem a descrição sem atributos distintivos.
  • Intenção Subespecificada: Falta de contexto para referências deícticas (por exemplo, "aquele", "lá").
  • Intenção Subjetiva: Requer preferências do usuário desconhecidas pelo robô (por exemplo, "minha bebida favorita").
• Viabilidade de Execução:
  • Inviabilidade Física: Viola restrições espaciais ou físicas (por exemplo, encaixar um teclado em uma xícara).
  • Capacidade Ausente: Requer sensores ou atuadores que o robô não possui (por exemplo, cheirar).
  • Instruções Contraditórias: Impõe requisitos mutuamente incompatíveis.
• Premissa Falsa:
  • Premissa Falsa: A instrução assume um estado do mundo contradito pela cena (por exemplo, "desligar" um monitor que já está desligado).

Construção do Conjunto de Dados

O benchmark utiliza 1.250 imagens provenientes de cinco conjuntos de dados diversos de robótica embutida (DROID, Robo2VLM, RoboVQA, BridgeV2 e EgoThink). O pipeline gera um total de 6.069 instruções, com cada imagem pareada com instruções que devem elicitar abstenção em múltiplas categorias. O conjunto de dados é projetado para ser auditável, com cada instrução rastreável de volta ao ancoramento visual específico e à derivação de restrições que justificaram sua criação.

Resultados Experimentais

Os autores avaliaram vários VLMs de ponta, incluindo GPT-5.4, Claude Sonnet 4.6, Gemini Robotics ER 1.6 Preview e Gemini 2.5 Flash.

• Desempenho de Linha de Base: Todos os modelos exibiram fraquezas significativas na abstenção. O modelo geral de melhor desempenho, Gemini 2.5 Flash, absteve-se de apenas 39,0% das instruções. O planejador específico para embutidos, Gemini Robotics ER 1.6 Preview, teve desempenho pior, abstendo-se de apenas 16,5%.
• Disparidades por Categoria: Os modelos performaram relativamente bem em casos de "Referente Ausente" (41,3% de abstenção), mas falharam dramaticamente em tarefas de "Referente Ambíguo" (2,6% de abstenção), sugerindo uma tendência a adivinhar em vez de solicitar esclarecimentos.
• Escala do Modelo e Raciocínio: Dentro da família GPT-5.4, aumentar a escala do modelo (Nano para Mini para Completo) teve pouco efeito nas taxas gerais de abstenção. Surpreendentemente, aumentar o nível de "raciocínio" (de nenhum para alto) reduziu o desempenho de abstenção, indicando que a deliberação adicional encoraja os modelos a construir planos de ação plausíveis ou soluções alternativas em vez de reconhecer a invalidade.
• Modos de Falha: A análise das respostas não abstinentes revelou que os modelos frequentemente "alucinam" alvos concretos, inventam capacidades sensoriais ou propõem estratégias de busca-e-ação para contornar a incerteza. O maior agrupamento de falhas foi a "Seleção Arbitrária de Alvo", onde os modelos resolveram a ambiguidade escolhendo um alvo sem esclarecimento.

Estratégias de Mitigação

O estudo testou se a instrução poderia melhorar o desempenho:

• Instrução Defensiva: Instruir explicitamente o modelo a abster-se sob condições específicas.
• Aprendizado em Contexto (ICL): Fornecer exemplos poucos-shot de comportamento correto de abstenção.
• Abordagem Combinada: Usar ambas as estratégias.

A abordagem combinada produziu as maiores melhorias, elevando a taxa de abstenção do Gemini Robotics ER 1.6 Preview para 93,6% e do GPT-5.4 Mini para 88,6%. No entanto, os autores observam que nenhuma abordagem única resolveu completamente o problema, e modos de falha significativos persistiram mesmo com a mitigação.

Significado e Alegações

O artigo posiciona a abstenção como uma capacidade distinta que deve ser medida explicitamente na avaliação de IA embutida, separada do sucesso na execução da tarefa. Os autores afirmam que:

1. Os VLMs de ponta atuais, mesmo aqueles com capacidades avançadas de raciocínio, são propensos à "Síndrome do Sim-Senhor", executando com confiança instruções que são ambíguas, não fundamentadas ou fisicamente impossíveis.
2. Os benchmarks existentes são insuficientes porque carecem do ancoramento visual e da verificação de restrições físicas exigidos para a robótica.
3. O ROBOABSTENTION fornece um método escalável, auditável e programaticamente verificável para gerar tais benchmarks, indo além da anotação manual.
4. Embora estratégias de instrução possam melhorar substancialmente o desempenho, a questão fundamental de os modelos recorrerem à ação sob incerteza permanece um desafio aberto, sugerindo que as arquiteturas atuais podem carecer dos mecanismos inerentes para reconhecer suas próprias limitações em ambientes físicos.

Os autores concluem que o benchmark não deve ser interpretado como evidência de prontidão para implantação no mundo real, pois foca em instruções benignas e não executáveis e não cobre uso adversarial ou interações de longo horizonte. O trabalho visa apoiar o desenvolvimento de modelos que possam melhor reconhecer a incerteza e evitar agir sob premissas inválidas.