💻 computer science

ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

O ValueFormer aborda a falha silenciosa de políticas de visão-linguagem-ação baseadas em aprendizado por imitação ao introduzir um transformer causal compacto que gera rótulos de valor densos e conscientes de estágio por quadro para permitir a detecção eficaz de erros online e a estimativa de vantagem, melhorando significamente as taxas de conclusão de tarefas em tarefas de manipulação de robôs reais sem exigir aprendizado por reforço dispendioso.

Autores originais: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde robôs estão aprendendo a fazer tarefas domésticas não por serem programados com regras rígidas, mas observando humanos e os copiando, tal como uma criança aprendendo a amarrar os sapatos ao observar um pai ou mãe. Este campo é chamado de Visão-Linguagem-Ação (VLA), onde um robô usa seus "olhos" (câmeras) e seu "cérebro" (modelos de linguagem) para decidir o que fazer a seguir. O grande problema com essa abordagem é que o robô frequentemente aprende apenas através de exemplos bem-sucedidos. É como tentar aprender a andar de bicicleta assistindo apenas a vídeos de pessoas que nunca caíram. Se o robô começar a oscilar ou soltar o guidão, ele não sabe que está falhando até que tudo desabe. Ele não tem um "sentimento visceral" interno para dizer: "Ei, você está indo muito bem!" ou "Pare! Você está prestes a derrubar esse sanduíche!"

Este artigo aborda esse "sentimento visceral" ausente. Os pesquisadores queriam construir um segundo cérebro menor para o robô que atue como uma barra de progresso. Em vez de apenas esperar que o robô termine uma tarefa para então dizer "Bom trabalho" ou "Falhou", este novo sistema observa o robô em tempo real, quadro a quadro. Ele tenta responder: "Quão perto estamos da linha de chegada agora?" e "Acabamos de cometer um erro?". O objetivo é tornar os robôs semiautônomos mais seguros e úteis, para que um operador humano não precise encarar uma tela esperando por um desastre acontecer.

A "Barra de Progresso" do Robô Que Sabe Quando Você Está Travado

Conheça o ValueFormer, uma nova ferramenta projetada para dar aos robôs um senso de progresso. Pense em um robô tentando fazer um sanduíche. Ele tem que colocar o pão de baixo, adicionar um hambúrguer, queijo, tomate, alface e, finalmente, o pão de cima. Se o robô travar na alface, um robô padrão treinado apenas em histórias de sucesso pode simplesmente continuar tentando pegar a alface para sempre ou, pior, pular o ingrediente e colocar o pão de cima sobre um hambúrguer vazio, achando que está tudo bem. Ele não tem ideia de que está em apuros.

Os autores deste artigo perceberam que o maior obstáculo não era construir um novo cérebro de robô sofisticado; era descobrir como ensinar ao robô o que "fazer bem feito" significa a cada segundo.

O Problema com Rótulos de "Tudo ou Nada"

Imagine que você está dando uma nota para a prova de matemática de um aluno. Se você der uma nota apenas no final, não saberá quando ele travou. Ele errou a primeira questão ou a última?

O Jeito Antigo: A maioria dos robôs é treinada com um interruptor simples de "Sucesso/Falha" ao final da tarefa. Se o sanduíche foi feito, é 1. Se for uma bagunça, é 0.
A Falha: Isso é muito esparso. Se um robô comete um erro no meio do caminho, mas continua o processo, o "0" no final não diz ao robô qual parte foi ruim. É como dizer a um corredor: "Você perdeu a corrida", sem dizer que ele tropeçou na milha 2.

Os pesquisadores tentaram uma abordagem diferente. Eles queriam um rótulo denso, uma pontuação que se atualiza a cada fração de segundo, mostrando exatamente o quão perto o robô está do objetivo. Mas aqui está a parte complicada: se você apenas disser ao robô "Você falhou, então sua pontuação é 0" para toda a tentativa fracassada, o robô fica confuso. Ele vê os primeiros segundos (onde estava indo muito bem) e pensa: "Espera, eu estava indo muito bem, mas você está dizendo que estou falhando? Devo estar falhando desde o início!". Isso confunde o robô e faz com que ele tenha um desempenho ruim mesmo em tentativas boas.

A Solução "Sucesso-Depois-Decaimento"

A principal inovação do artigo é uma maneira inteligente de rotular erros chamada "Consciente de Estágio, Sucesso-Depois-Decaimento" (Stage-Aware, Success-Then-Decay).

Imagine que o robô está escalando uma montanha (fazendo um sanduíche).

A Escalada: Conforme ele escala, sua "pontuação de progresso" sobe suavemente.
O Escorregão: Se ele escorrega e cai (comete um erro), a pontuação não cai instantaneamente para zero. Em vez disso, ela permanece alta para as partes que ele conseguiu fazer direito (o pão de baixo e o hambúrguer) e então decai lentamente à medida que percebe que está em apuros.
O Resultado: Isso ensina ao robô que a primeira metade da tentativa foi realmente boa, mas o final foi ruim. Isso preserva o "crédito parcial" pelo trabalho realizado antes do erro.

Os autores testaram isso contra outras quatro formas de rotular erros (como reduzir a pontuação instantaneamente para zero ou diminuir toda a pontuação). Eles descobriram que o método de "decaimento suave" foi o único que não confundiu o robô. Ele permitiu que o robô aprendesse que uma tentativa fracassada ainda tinha valor no início, evitando que ele "colapsasse" suas previsões em tentativas bem-sucedidas posteriormente.

Duas Cabeças, Um Cérebro

O ValueFormer é um modelo pequeno e eficiente que roda paralelamente ao cérebro principal do robô. Ele possui um design de "cabeça dupla" exclusivo, como um robô com dois tipos diferentes de olhos:

O Olho Suave ( $V_{mc}$ ): Este fornece uma pontuação de progresso contíno e suave (0 a 1). Ele diz ao operador: "Estamos 60% concluídos" ou "Estamos estagnados". É ótimo para rastrear o progresso geral.
O Olho Aguçado ( $V_{bin}$ ): Este é um alarme binário. Ele dispara para "Perigo!" no momento em que um erro acontece. É projetado para capturar erros rapidamente, como quando o robô deixa cair a alface, para que um humano possa intervir antes que o sanduíche inteiro seja arruinado.

O artigo mostra que, ao treinar com 1.427 episódios reais de robôs fazendo sanduíches, este sistema aprendeu a reconhecer quatro padrões distintos:

Sucesso Limpo: A pontuação sobe constantemente até o topo.
Sucesso com Retentativa: A pontuação cai quando o robô falha (como deixar cair um hambúrguer), mas sobe novamente assim que ele corrige o erro.
Colapso Precoce: A pontuação sobe e depois cai, permanecendo baixa porque o robô cometeu um erro cedo.
Tentativa Travada: A pontuação permanece baixa porque o robista está apenas "girando em falso".

Resultados do Mundo Real

Quando os pesquisadores usaram este "medidor de progresso" para ajudar o robô a aprender, os resultados foram promissores. Ao usar o próprio "sentimento visceral" do robô para ponderar seus dados de treinamento (dizendo a ele para prestar mais atenção nas partes em que estava enfrentando dificuldades), eles melhoraram a taxa de sucesso do robô de 70% para 85% em uma tarefa de fazer sanduíches. Eles também conseguiram eliminar um hábito ruim específico onde o robô continuava tentando pegar um ingrediente que já havia colocado com sucesso (um erro de "repetição de coleta").

No entanto, os autores ressaltam cautelosamente que, embora a melhoria seja real, o tamanho da amostra (20 sanduíches no teste final) é pequeno, portanto, os resultados são "sugestivos" em vez de um problema garantido e resolvido. Eles também descobriram que o sistema precisa de um pouco de tempo para reagir — cerca de 5 a 10 segundos — porque analisa um histórico curto do que aconteceu anteriormente antes de fazer um julgamento.

Tornando-o Rápido o Suficiente para Rodar

Finalmente, a equipe teve que garantir que este novo "medidor de progresso" não atrasasse o robô. Rodar dois cérebros em um único chip de computador é difícil. Eles descobriram que o custo principal não era a parte do "pensar", mas a parte de "ver" (processar as imagens da câmera). Ao otimizar como as imagens eram processadas (usando uma técnica de "batching" e um formato matemático específico chamado "bf16"), eles reduziram o tempo de verificação do progresso em 3 a 5 vezes. Isso permitiu que o sistema rodasse suavemente a 2 Hz (duas vezes por segundo) no mesmo chip de computador que o cérebro principal do robô, sem causar qualquer atraso (lag).

Em suma, o ValueFormer dá aos robôs uma maneira de dizer: "Estou indo bem, mas acabei de derrubar o queijo e preciso de ajuda", em vez de apenas falhar silenciosamente ao final. Ele transforma uma imitação cega em um parceiro semiautônomo que sabe quando está em apuros.

Resumo Técnico: ValueFormer

Declaração do Problema

Políticas de Visão-Linguagem-Ação (VLA) treinadas via clonagem de comportamento (ex: a família $\pi_0$ ) frequentemente falham silenciosamente. Como o aprendizado por imitação não fornece uma noção intrínseca de progresso, um robô realizando um progresso limpo e um que estagnou ou falhou podem produzir fluxos de ação e saídas visuais idênticos. Embora o Aprendizado por Reforço (RL) pudesse teoricamente fornecer um sinal de valor, ele é impraticável para tarefas de robótica real envolvendo objetos deformáveis (como comida) devido ao alto custo de coleta de dados e à incapacidade dos simuladores atuais de reproduzir fielmente interações físicas.

Alternativas existentes, como bits terminais de sucesso/falha, sofrem de extrema esparsidade. Um único bit ao final de um episódio de dois minutos não pode informar a um operador quando um erro ocorreu, nem pode fornecer o sinal denso necessário para estimativa de vantagem ou filtragem de segurança online. Além disso, esquemas simples de rotulagem densa (ex: atribuir um valor de 0 a todos os quadros em um episódio falho) são ativamente prejudiciais; eles ensinam o modelo que observações em estágios iniciais de um rollout falho são inerentemente "ruins", fazendo com que o modelo preveja falha mesmo em sucessos limpos durante a implantação.

Metodologia

O artigo propõe o ValueFormer, um transformer causal compacto e agnóstico à política que emite dois sinais por quadro a partir de um único passo de propagação (forward pass): um valor de Monte Carlo suave ( $V_{mc}$ ) para rastreamento de progresso e um valor binário nítido ( $V_{bin}$ ) para detecção de erros.

1. Rotulagem Sensível ao Estágio, Sucesso-Seguido-de-Decaimento

A principal contribuição técnica é um esquema de rotulagem inovador para episódios falhos que aborda o problema do "rótulo com forma errada":

Pré-Falha: Quadros que precedem a falha em um episódio falho são rotulados identicamente a episódios bem-sucedidos, seguindo uma curva de Monte Carlo ascendente ( $V \approx \gamma^{N-1-k}$ ). Isso preserva o crédito parcial para os estágios concluídos antes do erro.
Pós-Falha: Em vez de uma queda brusca para zero (um "abismo"), o rótulo decai suavemente a partir do valor no ponto de falha ( $V_{fail} = V_{succ}(k_{fail}) \cdot \gamma^{k-k_{fail}}$ ). Isso codifica a intuição de que um robô que falha tarde em uma tarefa ainda merece mais crédito do que um que falha cedo.
Detecção Binária: Um segundo alvo, $V_{bin}$ , é gerado a partir de intervalos de erro baseados em segmentos $(t_{start}, t_{end})$ em vez de um único ponto de falha. Isso permite que o modelo aprenda com erros transitórios em rollouts que de outra forma seriam bem-sucedidos (ex: uma falha de preensão que é recuperada).

2. Arquitetura

O ValueFormer é um transformer causal leve (aprox. 3,5 milhões de parâmetros treináveis) construído sobre um backbone DINOv3 ViT-L/16 congelado.

Entrada: Ele processa uma janela temporal curta e fixa (8 segundos, 16 quadros) de seis visões: três imagens de câmera completas e três recortes de Região de Interesse (ROI) (regiões da garra e do pulso). Ele também ingere estados de junta e características de tempo.
Design Causal: O transformer utiliza uma máscara causal, garantindo que o valor no tempo $t$ dependa apenas de quadros passados e presentes, tornando-o válido para inferência online.
Saída de Cabeça Dupla:
- Cabeça $V_{mc}$ : Um MLP de 3 camadas produzindo um valor suave em $[0, 1]$ , supervisionado pelos rótulos de Monte Carlo sensíveis ao estágio.
- Cabeça $V_{bin}$ : Um MLP de 2 camadas produzindo uma probabilidade nítida de falha, supervisionado pelos intervalos de erro.

3. Treinamento e Supervisão

O modelo é treinado conjuntamente em ambas as cabeças usando Entropia Cruzada Binária (BCE). Para escalar a anotação, os autores utilizam flags de intervenção de humano no laço (HIL) de sessões de teleoperação. Quando um operador assume o controle de um rollout falho, o intervalo de intervenção é tratado como um segmento de erro, fornecendo supervisão densa e barata que aumenta as anotações manuais.

Principais Resultados

O método foi avaliado em uma tarefa de montagem de sanduíche bimanual com robô real com 1.427 episódios (1.249 sucessos de especialistas, 178 rollouts autônomos).

Eficácia da Rotulagem: Um estudo de ablação comparando cinco formas de rotulagem demonstrou que o esquema proposto "MC-smooth" (sucesso-seguido-de-decaimento) superou significativamente as alternativas (escala de resultado, abismo, mistura linear, divergência tardia). Ele alcançou o menor erro de BCE de validação e MAE de rollout, evitando o "vazamento de resultado" (prever falha em $t=0$ com base no resultado final) visto em outros esquemas.
Assinaturas Qualitativas: O ValueFormer reproduziu com sucesso quatro assinaturas canônicas de rollout em dados não vistos:
1. Curvas suavemente ascendentes para sucessos limpos.
2. Quedas e recuperações para sucessos com tentativas de erro (retries).
3. Padrões de subida-e-queda para colapsos precoces.
4. Perfis planos-baixos para episódios travados/arranhando.
Detecção de Falhas: Ao combinar anotações manuais com segmentos derivados de intervenção, a cabeça binária alcançou uma Precisão Média (AP) de 0,82 na detecção de falhas em dados de teste (comparado a 0,38 com apenas rótulos manuais), detectando 95% dos erros antes que o operador interviesse.
Melhoria da Política (Teste A/B): Em um experimento com robô real, usar o crítico para derivar pesos de treinamento por quadro para a política VLA melhorou a conclusão da tarefa de 70% para 85% (dentro do ruído estatístico com $n=20$ ) e eliminou um modo de falha específico de "repetição de coleta" que persistia sob uma linha de base de apenas flag.
Eficiência de Implantação: Através de codificação em lote e BF16 autocast no encoder congelado, o custo de serviço ao vivo foi reduzido em 3–5 $\times$ , permitindo que o crítico rode a 2 Hz junto com a política em uma única GPU sem travar o loop de controle.

Significância e Alegações

O artigo argumenta que o rótulo, e não a arquitetura, é o gargalo crítico no aprendizado de funções de valor para clonagem de comportamento. A principal contribuição é a demonstração de que um rótulo denso e de forma correta é essencial para aprender um sinal de valor útil.

Densidade de Supervisão: Mover de um bit terminal para um alvo por quadro é necessário, mas insuficiente; a forma desse alvo determina o sucesso. Um rótulo denso com a forma errada (ex: um zero plano para todas as falhas) é pior do que nenhum rótulo, porque o modelo o ajusta fielmente, aprendendo associações incorretas.
Agnosticismo de Política: O ValueFormer opera ao lado de uma VLA congelada, não exigindo modificação no loop de treinamento ou no formato de entrada da política, tornando-o um módulo plug-and-play para a família $\pi_0$ .
Design de Alvo Duplo: A separação de um valor suave (para estimativa de progresso) e um sinal binário nítido (para abortos de segurança) permite que um único modelo sirva tanto à necessidade do operador de uma "barra de progresso" quanto à necessidade do sistema de um gatilho imediato de "abortar".

Os autores concluem que, embora a aplicação específica tenha sido a montagem de sanduíches, o padrão de design — uma cabeça de valor pequena de saída dupla com alvos projetados compartilhando um backbone — oferece um caminho generalizável para robôs semi-autônomos que podem detectar suas próprias falhas antes que a intervenção humana seja necessária.