Resumo Técnico: Será que o VLA sequer conhece o básico? Medindo a Retenção de Senso Comum e Conhecimento de Mundo em Modelos Visão-Linguagem-Ação

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) incorporados são tipicamente construídos através do ajuste fino (fine-tuning) de poderosos Modelos de Visão-Linguagem (VLMs) pré-treinados em dados de robótica. Embora esses modelos sejam frequentemente anunciados como generalizáveis para o mundo aberto, permanece incerto quanto do senso comum e do conhecimento factual eles retêm após a adaptação para tarefas de controle. Os paradigmas de avaliação atuais são predominantemente "centrados na manipulação", focando na taxa de sucesso de tarefas de navegação ou manipulação de objetos (ex: LIBERO, CALVIN). Esses benchmarks confundem déficits de conhecimento com falhas em controle motor de baixo nível, percepção ou planejamento de longo horizonte. Consequentemente, não há um método principiológico para determinar se um VLA sofreu um esquecimento catastrófico do conhecimento de mundo presente em seu VLM de origem, ou se as falhas em tarefas sensíveis ao conhecimento devem-se apenas a uma má generalização de políticas de controle.

Metodologia: Act2Answer

Para abordar a ambiguidade entre a perda de conhecimento e a falha de controle, os autores introduzem o Act2Answer, um protocolo de avaliação leve que adapta os benchmarks de conhecimento de VLM para modelos VLA, exigindo que os agentes respondam através de ação em vez de geração de texto.

Protocolo Central

• Seleção Baseada em Ação: Em vez de gerar texto, cada pergunta é convertida em um episódio curto e simulado em mesa. O agente recebe uma instrução em linguagem natural e deve realizar uma única ação simples de posicionamento de objeto (mover um cubo) para selecionar a resposta correta entre imagens candidatas colocadas sobre uma mesa.
• Redução de Confundidores: Ao limitar a tarefa a uma única ação de curto horizonte, o protocolo minimiza a influência de controle motor complexo, planejamento de longo horizonte e dinâmica ambiental, isolando a capacidade do agente de usar o conhecimento para a tomada de decisão.
• Taxa de Sucesso Suave (SR): O desempenho é medido usando uma "Taxa de Sucesso Suave", que considera uma região de tolerância ao redor da resposta alvo. Esta métrica distingue entre:
  1. Falha de Instrução/Percepção: O agente posiciona o objeto fora dos limites ou escolhe consistentemente a opção errada (SR < 0.5 - $\Delta$).
  2. Ausência de Conhecimento Utilizável Confiável: O agente fundamenta a ação, mas falha em selecionar a opção correta, operando próximo ao acaso aleatório (0.5 - $\Delta$ $\le$ SR $\le$ 0.5 + $\Delta$).
  3. Evidência de Conhecimento Utilizável: O agente consegue alavancar o conhecimento interno para inclinar a seleção da ação em direção ao alvo correto (SR > 0.5 + $\Delta$).

Curadoria de Dados

Os autores curaram um conjunto de testes de 1.720 perguntas binárias únicas distribuídas em 12 categorias de conhecimento, derivadas de benchmarks de VLM existentes (MLLM-CompBench, IconQA, MMBench, OK-VQA, VL-Think). Estas categorias são agrupadas em sete domínios amplos:

• Físico: Atributos, estados, cor, forma, simetria.
• Temporal: Tempo, contagem.
• Quantitativo: Contagem, magnitude.
• Biológico: Distinções do mundo vivo.
• Social: Emoção, intenção.
• Normativo: Regras de trânsito, informações públicas.
• Cultural: Reconhecimento de celebridades.

Sondagem de Intenção por Camada

Para investigar onde o conhecimento é retido ou perdido dentro da arquitetura do modelo, os autores empregam sondagem de intenção por camada (layerwise intent probing). Classificadores lineares são treinados nos estados ocultos de cada camada do transformer (tanto do backbone VLM quanto do Especialista de Ação) para prever a resposta correta. Isso permite quantificar como a informação relevante para a resposta é distribuída e se ela atenua conforme passa da representação semântica para a geração da ação.

Principais Contribuições

1. Conjunto de Benchmarks Act2Answer: Um protocolo controlado que converte tarefas de conhecimento de VLM em episódios de seleção de ação incorporada, permitindo a sondagem direta do comportamento sensível ao conhecimento sem depender da decodificação de texto.
2. Taxonomia Sistemática de Conhecimento: Um conjunto de dados curado cobrindo 12 categorias em 7 domínios, facilitando a análise granular de erros de senso comum e conhecimento de mundo em agentes incorporados.
3. Estudo Empírico em Larga Escala: Uma avaliação de 7 modelos VLA modernos (incluindo $\pi_0$, OpenVLA, Magma, SpatialVLA) contra 9 bases fortes de VLM, classificando sistematicamente o desempenho através dos domínios de conhecimento.
4. Análise Arquitetural: Introdução da sondagem de intenção por camada para localizar a informação relevante para a resposta, revelando a dinâmica interna da retenção de conhecimento versus a geração de ação.

Resultados

O estudo revela uma disparidade significativa entre as capacidades dos VLMs e seus contrapartes VLAs:

• Lacuna Perceptiva vs. Semântica: Os modelos VLA apresentam um desempenho forte em categorias perceptivas simples (ex: Cor, Forma), mas exibem quedas substanciais de desempenho em categorias semânticas mais ricas (ex: Emoção, Estado, Contagem, Simetria). Muitos modelos VLA operam no nível ou próximo ao acaso nessas tarefas complexas.
• A Lacuna VLM-VLA: Quando comparados aos seus VLMs de origem em um ambiente livre de ação, os modelos VLA mostram uma queda de desempenho de aproximadamente 20 a 40 pontos percentuais na maioria dos domínios de conhecimento. Isso sugere que o ajuste fino para controle degrada significativamente a acessibilidade do conhecimento de mundo.
• Papel do Co-treinamento de VQA: Modelos treinados com supervisão conjunta de visão-linguagem e robótica (ex: Magma, Xiaomi-Robotics-R0) demonstram melhor retenção de conhecimento e desempenho em tarefas sensíveis ao conhecimento em comparação com modelos treinados primariamente em dados de robótica (ex: OpenVLA, $\pi_0$).
• Gargalo de Representação Interna: Os resultados da sondagem indicam que a informação relevante para a resposta está frequentemente presente nas camadas intermediárias do backbone VLM, mas atenua significativamente nas camadas superiores e no Especialista de Ação. Isso sugere um gargalo onde o modelo retém a informação semântica internamente, mas falha em traduzi-la para a seleção de ação correta.
• Impacto do Ajuste Fino: O ajuste fino adicional (downstream fine-tuning via SFT ou RL) em conjuntos de dados de pick-and-place não melhorou consistentemente o desempenho sensível ao conhecimento e, em alguns casos (ex: Estado, Cor), levou a uma maior degradação, indicando um viés para a otimização de tarefas específicas em detrimento do conhecimento geral.

Significância e Alegações

O artigo argumenta que o paradigma atual de simplesmente realizar o ajuste fino de VLMs em dados de robótica é insuficiente para criar agentes incorporados verdadeiramente de propósito geral. Embora esses modelos retenham a capacidade de agir sobre pistas perceptivas superficiais, eles frequentemente perdem a capacidade de distinguir entre estados semânticos complexos (ex: uma xícara "suja" vs. "limpa", ou um humano "triste" vs. "neutro").

Os autores afirmam que o Act2Answer fornece uma ferramenta de diagnóstico necessária para medir essa "erosão de conhecimento". Os achados sugerem que futuras arquiteturas e objetivos de treinamento devem priorizar explicitamente o alinhamento da compreensão semântica do backbone com as políticas motoras aprendidas. Sem tal alinhamento, os agentes incorporados permanecerão limitados em sua utilidade para ambientes cotidianos, onde a ação correta depende de um senso comum rico e conhecimento de mundo, e não apenas de controle de baixo nível. O artigo conclui que prevenir a erosão do conhecimento de mundo continua sendo um desafio em aberto, exigindo estratégias como aprendizagem multitarefa, preservação de representação ou o desacoplamento arquitetural entre conhecimento e componentes de controle.