Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

Resumo Técnico: Sondando LLMs Incorporados: Quando Maior Fidelidade de Observação Prejudica a Resolução de Problemas

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como componentes cognitivos para sistemas robóticos operando em ambientes não estruturados. No entanto, seus processos de tomada de decisão opacos dificultam a distinção entre capacidades de raciocínio genuínas e sucesso acidental em tarefas corporativas em malha fechada. Métricas de desempenho, como taxas de sucesso agregadas, frequentemente falham em revelar se um agente resolveu uma tarefa por meio de inferência coerente, exploração acidental ou uma interação entre erros perceptivos e falhas de raciocínio. Especificamente, permanece incerto como a fidelidade das entradas de observação (desde dados sensoriais brutos até a verdade simbólica perfeita) influencia os mecanismos comportamentais de agentes LLM incorporados.

Metodologia
Os autores empregam uma metodologia de IA empírica alinhada com identificação de sistemas, tratando o agente LLM como um sistema opaco a ser sondado por meio de intervenções controladas.

• Tarefa: O estudo utiliza a "Caixa de Fechadura" (Lockbox), um quebra-cabeça mecânico sequencial consistindo em quatro juntas com interdependências ocultas. O objetivo é destravar a caixa manipulando as juntas em uma ordem específica. Esta tarefa requer integrar observações ao longo do tempo e inferir dependências de estado latentes.
• Configuração Experimental:
  • Configuração Física: Um braço robótico Franka Emika Panda com um efetuador final macio manipula uma Caixa de Fechadura física. O sistema utiliza uma câmera RGB-D e sensores de força-torque.
  • Simulação: Um ambiente de simulação controlado isola o problema de raciocínio da variabilidade da atuação física, permitindo a perturbação sistemática do canal de observação.
• Intervenções: O estudo varia a fidelidade de observação fornecida ao LLM (OpenAI GPT-o1 em experimentos físicos; GPT-4o em simulação) através de três modalidades:
  1. RGB: Imagens visuais brutas.
  2. RGB-D: Imagens visuais aumentadas com dados de profundidade.
  3. Estado Simbólico de Verdade Terrena: Descrições textuais explícitas dos estados das juntas, contornando inteiramente o pipeline de visão.
• Mecanismo de Sondagem: Em simulação, os autores introduzem ruído observacional controlado invertendo aleatoriamente o resultado percebido das ações (inversões de estado) com probabilidades variáveis (0% a 60%) para testar o impacto da estocasticidade no desempenho.

Principais Resultados
O estudo revela uma relação contra-intuitiva entre fidelidade de observação e desempenho na tarefa:

1. Fidelidade vs. Desempenho: Contrariando a suposição de que observações mais precisas melhoram o raciocínio, os agentes performaram melhor com entrada RGB bruta e pior com estados simbólicos de verdade terrena perfeitos. A modalidade RGB-D produziu resultados intermediários.
   • O GPT-o1 alcançou uma taxa de sucesso de 80% com entrada RGB em 11 passos, enquanto a condição de verdade terrena exigiu 15 passos para alcançar a mesma taxa de sucesso.
   • Uma heurística inspirada em humanos alcançou 100% de sucesso em 9 passos, destacando a ineficiência dos LLMs independentemente da entrada.
2. Análise de Interpretação Errada:
   • Modalidades visuais (RGB/RGB-D) exibiram altas taxas de interpretação errada de estado (aproximadamente 21–27%), sugerindo fundamentação perceptiva inconsistente.
   • Surpreendentemente, a condição de verdade terrena também exibiu uma taxa de interpretação errada de ~5%, atribuída ao modelo "alucinando" mudanças de estado apesar de receber dados explícitos e corretos.
3. Resposta Não Monotônica ao Ruído: Em simulação, a introdução de ruído moderado (inversões aleatórias de estado) melhorou o desempenho em relação à linha de base sem ruído.
   • As taxas de sucesso atingiram o pico em uma probabilidade de inversão de estado de 40%, alcançando um aumento de 2,85 vezes sobre a linha de base sem ruído.
   • O desempenho degradou novamente em níveis de ruído mais altos (>40%).
4. Mecanismo de Melhoria: O ganho de desempenho sob ruído moderado está ligado à redução de loops de ação repetitivos.
   • Loops de ação (repetição de subsequências de ações sem progresso) estavam negativamente correlacionados com o sucesso.
   • Observações perfeitas permitiram que o agente entrasse e permanecesse nesses loops quando as ações falhavam em produzir mudanças esperadas.
   • Ruído perceptivo moderado interrompeu esses loops, forçando o agente a explorar ações alternativas, quebrando assim o ciclo de falha.

Principais Contribuições

• Estrutura de Sondagem Comportamental: O artigo estabelece uma metodologia para avaliar LLMs incorporados perturbando canais de observação para revelar mecanismos comportamentais subjacentes, em vez de depender exclusivamente de métricas baseadas em resultados.
• Descobertas Contra-Intuitivas de Fidelidade: Demonstra que maior fidelidade de observação pode ativamente prejudicar a resolução de problemas em LLMs incorporados, desafiando a suposição padrão de que "melhores dados" levam a "melhor raciocínio".
• Identificação de Modos de Falha: O estudo identifica "loops de ação repetitivos" como um modo de falha crítico em LLMs incorporados e mostra que erros perceptivos podem, inadvertidamente, mitigar esse problema ao interromper padrões de decisão recursivos.

Significado e Alegações
Os autores afirmam que as taxas de sucesso sozinhas são insuficientes para avaliar LLMs incorporados. O desempenho medido pode refletir uma "interação acidental" entre erros perceptivos e falhas de raciocínio, em vez de capacidades robustas de resolução de problemas.

O artigo argumenta que, em interações em malha fechada, as observações não são meramente entradas passivas, mas moldam ativamente a dinâmica de tomada de decisão. Consequentemente, o que parece ser um desempenho superior sob entradas de menor fidelidade não deve ser interpretado como evidência de raciocínio mais forte. Em vez disso, pode refletir um efeito colateral onde erros perceptivos cumulativos acabam por interromper modos de falha específicos (como loops de ação) que são sustentados por feedback preciso.

Os autores concluem que a avaliação rigorosa de LLMs incorporados requer benchmarks em malha fechada do mundo real combinados com intervenções comportamentais controladas para desvendar limitações perceptivas de capacidades de raciocínio. Eles observam que suas descobertas são específicas aos modelos e tarefas avaliados e apelam para trabalhos futuros para determinar se esses comportamentos se generalizam através de diferentes arquiteturas e provedores de modelos.