🤖 machine learning

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

O RynnValue é um modelo de fundação de valor robótico de código aberto que escala para milhões de clipes condicionados por instrução ao usar a distância temporal como um alvo de supervisão, superando métodos baseados em preferência em avaliação e impulsionando significativamente o sucesso de políticas no mundo real sem exigir recompensas explícitas ou anotações de progresso.

Autores originais: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Publicado 2026-08-11

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a cozinhar uma refeição, mas em vez de dar uma receita, você apenas diz: "Faça algo bom!" e espera que ele descubra o resto. Este é o mundo do aprendizado de robôs, um ramo da ciência onde engenheiros tentam ensinar máquinas a se mover e interagir com o mundo físico. O maior obstáculo geralmente não é o cérebro do robô (sua capacidade de se mover); é a recompensa. No mundo da IA, uma "recompensa" é como uma pontuação ou um "parabéns" que diz ao robô: "Bom trabalho!" ou "Tente novamente". O problema é que dar ao robô uma pontuação perfeita para cada movimento individual é incrivelmente difícil. Se a pontuação for muito vaga, o robô fica confuso. Se for muito específica para uma tarefa, o robô não consegue aprender nada novo. Cientistas têm tentado construir uma pontuação de "propósito geral" que funcione para qualquer robô realizando qualquer tarefa, mas ficaram travados em como criá-la sem precisar que um humano avalie manualmente cada tentativa.

É aqui que entra uma nova ideia chamada RynnValue. Pense nisso como uma nova maneira de avaliar o desempenho de um robô. Em vez de perguntar: "O quão perto você está da linha de chegada?" (o que é difícil de medir se a linha de chegada parecer diferente para cada tarefa), o RynnValue pergunta: "Quanto tempo falta para você terminar?". Ele trata a jornada do robô como um cronômetro de contagem regressiva. Se o robô está longe do objetivo, o cronômetro está alto. Se ele está perto, o cronômetro está baixo. A magia deste artigo é que mostra que você não precisa de um humano para apertar um botão e dizer "Bom trabalho" para criar este cronômetro. Você pode simplesmente olhar para o relógio. Se um vídeo de um robô cozinhando começa em 10 minutos e termina em 0, o computador pode descobrir automaticamente que, na marca de 5 minutos, o robô tinha 5 minutos restantes. Esse truque simples permite que o robô aprenda com milhares de horas de vídeos sem que ninguém precise avaliá-los manualmente.

O Problema: A Armadilha do "Progresso"

Por muito tempo, cientistas tentaram ensinar robôs medindo o "progresso". Imagine um robô tentando empilhar blocos. Um modelo de progresso tentaria adivinhar se o robô está 10% concluído, 50% concluído ou 90% concluído. Mas aqui está o detalhe: "50% concluído" parece totalmente diferente para empilhar blocos do que para despejar água. Um robô pode estar na metade pelo volume/altura, enquanto outro pode estar na metade pelo tempo. Isso torna muito difícil treinar um robô que possa fazer muitas coisas diferentes, porque a definição de "progresso" muda toda vez que a tarefa muda. É como tentar ensinar matemática a um aluno dizendo "Você está na metade do caminho!" sem nunca dizer qual é o resultado final esperado.

Os autores deste artigo argumentam que essa abordagem de "progresso" é um beco sem saída. Eles dizem que precisamos parar de tentar adivinhar o quão longe o robô está e começar a contar o tempo até o trabalho ser finalizado. Eles chamam isso de distância temporal. É o "custo para chegar" ou, simplesmente, "quanto tempo eu tenho até terminar?".

A Solução: RynnValue e o Relógio Mágico

A equipe da DAMO Academy da Alibaba e do Hupan Lab construiu um modelo chamado RynnValue. Em vez de tentar adivinhar uma porcentagem de progresso, o RynnValue olha para um vídeo de um robô e uma instrução de texto (como "coloque a xícara sobre a mesa") e prevê exatamente quantos segundos faltam para a tarefa ser concluída.

Aqui está a parte inteligente: eles não precisaram que humanos escrevessem "faltam 5 segundos" para cada vídeo. Eles apenas usaram os timestamps (marcas de tempo) que já estavam nos arquivos de vídeo. Se um vídeo começa em 0:00 e o robô termina em 0:10, o computador sabe que, em 0:05, o robô tinha 5 segundos restantes. Isso significa que eles puderam treinar o modelo em uma biblioteca massiva de mais de 7.000 horas de vídeos de robôs — aproximadamente 3 milhões de clipes — sem precisar que um único humano os avaliasse manualmente. É como ensinar um aluno a ler deixando-o assistir a milhares de filmes com legendas, em vez de ter um professor corrigindo cada frase que ele lê.

Os Truques Escondidos (e Como Eles Foram Detidos)

Você pode pensar: "Se o robô apenas aprende a olhar para o relógio, ele não estaria explorando um atalho?". Os cientistas também estavam preocupados com isso. Eles sabiam que, se apenas mostrassem os vídeos em ordem, o robô poderia aprender um atalho: "Ah, o terceiro quadro do vídeo é sempre a metade do caminho!" ou "Se o vídeo tem 10 segundos, o meio é sempre 5 segundos restantes". O robô pararia de olhar para os braços reais do robô e apenas adivinharia com base na posição do vídeo.

Para impedir isso, eles adicionaram um pouco de "caos" ao treinamento:

Amostragem Aleatória: Eles não mostraram o vídeo ao robô em uma linha reta. Eles escolheram momentos aleatórios do vídeo, para que o rob em não pudesse adivinhar o tempo com base na ordem dos quadros.
Embaralhamento (Shuffling): Eles às vezes mostraram o vídeo de trás para frente ou em uma ordem bagunçada. Se o robô visse um estado "finalizado" antes de um estado "inicial", ele teria que perceber que o estado "finalizado" estava, na verdade, mais distante no tempo, forçando-o a realmente olhar para a imagem do robô, não apenas para a ordem das imagens.
Isolamento: Eles garantiram que o robô não pudesse espiar as respostas para o próximo quadro enquanto adivinhava o atual. Ele tinha que resolver cada momento por conta própria.

Os Resultados: Funciona?

A equipe testou o RynnValue em vários robôs e tarefas que ele nunca tinha visto antes. Os resultados foram surpreendentemente bons.

Tarefas de Ranking: Quando solicitado a classificar diferentes tentativas de robôs de "melhor" para "pior", o RynnValue obteve uma pontuação de 0,675. Isso foi melhor do que os melhores modelos anteriores que dependiam de humanos avaliando manualmente os vídeos (que pontuaram 0,655).
Robôs do Mundo Real: Eles pegaram o modelo e o usaram para ensinar robôs reais a realizar tarefas complicadas, como colocar pão em uma cesta ou mover um bife com uma espátula.
- Com o RynnValue, os robôs tiveram sucesso 72,5% das vezes ao aprender online (enquanto se moviam).
- Sem ele, usando os antigos melhores métodos, eles tiveram sucesso apenas 52,5% das vezes.
- No aprendizado offline (aprendendo a partir de um banco de dados de movimentos passados), o RynnValue aumentou o sucesso de 63,8% para 82,5%.

Por Que Isso Importa

A coisa mais emocionante deste artigo é que sugere que não precisamos ser perfeitos ao avaliar robôs para ensiná-los. Só precisamos saber quando eles terminaram. Ao usar o "relógio" simples e automático do tempo, o RynnValue cria uma linguagem universal para recompensas de robôs. Funciona para um robô com dois braços, um robô com uma roda ou um robô com uma mão, desde que possamos dizer quando o trabalho terminou.

Os autores ressaltam cuidadosamente que isso não é uma varinha mágica que resolve todos os problemas de robótica instantaneamente. Eles descobriram que, para tarefas muito complexas que exigem alinhamento preciso (como colocar uma caixa em uma gaveta), o modelo ainda enfrentava dificuldades porque as pistas visuais eram confusas. Mas, no geral, eles mostraram que a distância temporal é uma maneira poderosa e escalável de ensinar robôs. Ela transforma o problema confuso e difícil de "o que é um bom movimento?" no problema simples e solucionável de "quanto tempo falta para acabar?".

Em resumo, o RynnValue é como dar a um robô um cronômetro em vez de um boletim escolar. Ele transforma o mundo caótico do aprendizado de robôs em uma contagem regressiva simples, e parece estar funcionando melhor do que os métodos antigos.

Resumo Técnico: RynnValue – Escalando Modelos de Fundação de Valor Robótico com Distância Temporal

Declaração do Problema

Políticas robóticas de propósito geral são cada vez mais treinadas via aprendizado por reforço (RL), mas a escala desse ciclo é limitada pela supervisão de recompensa. Recompensas projetadas manualmente falham em generalizar para tarefas abertas, enquanto sinais de sucesso esparsos oferecem orientação insuficiente para comportamentos de longo horizonte. Modelos de recompensa de propósito geral existentes dependem de âncoras internas da tarefa, como preferências humanas, demonstrações de referência ou progresso normalizado. Essas abordagens vinculam a supervisão a trajetórias ou conjuntos de comparação específicos, tornando-as difíceis de transferir entre fontes de dados, corpos (embodiments) e pontos de vista heterogêneos. Além disso, o progresso normalizado (ex: escalas [0, 1]) é uma coordenada intra-trajetória em vez de um custo-para-chegar condicionado ao objetivo, o que leva a inconsistências entre durações e estruturas de tarefas variadas.

Metodologia: RynnValue

Os autores introduzem o RynnValue, um modelo de fundação de valor de código aberto que reformula o problema de modelagem de recompensa. Em vez de pontuar âncoras de nível de trajetória, o RynnValue prevê a distância temporal — o custo-para-chegar direcionado e condicionado ao objetivo, partindo de uma observação até um objetivo especificado por linguagem.

1. Receita de Dados e Rotulagem

O RynnValue é treinado em uma mistura massiva e heterogênea de mais de 7.000 horas de dados robóticos, compreendendo aproximadamente 3 milhões de clipes de trajetória condicionadas por instrução. Este conjunto de dados abrange diversos corpos (braço único, braço duplo, móvel, mãos dexterosas), pontos de vista e famílias de tarefas (mundo real, simulado e egocêntrico).

Derivação de Rótulos: Diferente de métodos baseados em preferência, o R型nnValue não requer pares de preferência ou anotações de progresso. Os rótulos são derivados diretamente de timestamps (marcas de tempo). Ao identificar um corte de conclusão (via segmentação de subtarefas e rotulagem), o modelo aprende o tempo restante para a conclusão de qualquer observação.
Sinal de Supervisão: O modelo prevê a distância temporal absoluta até a conclusão da tarefa e o deslocamento temporal relativo assinado entre observações consecutivas.

2. Arquitetura do Modelo

Construído sobre o RynnBrain, o RynnValue é um modelo visual condicionado por linguagem que processa sequências multimodais intercaladas de instruções, observações e tokens de consulta.

Consultas Temporais Agrupadas: Para superar gargalos de informação, cada previsão temporal é representada por um grupo de $N=8$ tokens de consulta repetidos. Esses tokens interagem via atenção bidirecional antes de serem concatenados para formar uma representação robusta.
Cabeças de Distribuição Dupla: O modelo emprega duas cabeças especializadas:
- Cabeça Absoluta: Prevê o tempo restante para a conclusão ( $v_t$ ).
- Cabeça Relativa: Prevê o deslocamento temporal assinado entre observações adjacentes ( $\Delta_t$ ).
- Ambas as cabeças utilizam binagem com espaçamento symlog (256 bins) e alvos de dois-hot para lidar com a ampla faixa dinâmica de distâncias temporais, transformando a regressão em um problema de classificação estável.
Ramo de Linguagem Natural: Um ramo auxiliar gera descrições de vídeo, julgamentos de correspondência instrução-vídeo e previsões de sucesso, fornecendo fundamentação semântica sem interferir nos cabeçotes de valor temporal.

3. Estratégias de Supressão de Atalhos (Shortcuts)

Para garantir que o modelo fundamente suas previsões em evidências visuais em vez de explorar regularidades nos dados, os autores introduzem três mecanismos chave:

Amostragem Temporal Aleatória: As observações são amostradas em timestamps irregulares para quebrar padrões aritméticos de valores induzidos por amostragem uniforme.
Embaralhamento de Ordem Temporal: A ordem cronológica das observações amostradas é embaralhada (com uma probabilidade de "rebobinar") durante o treinamento. Isso evita que o modelo infira o progresso apenas com base na posição na sequência.
Atenção de Isolamento de Valor: Uma estratégia de mascaramento onde grupos de consulta de valor associados a diferentes observações não podem atender uns aos outros. Isso impede que o modelo extrapole valores de consultas anteriores, forçando cada previsão a depender de seu contexto visual específico.
Aumento de Incompatibilidade de Instrução: 10% das amostras de treinamento usam instruções incompatíveis para ensinar o modelo a detectar inconsistências e evitar assumir um progresso suave em direção a um objetivo incorreto.

4. Interface de Inferência e Recompensa

Na inferência, o RynnValue fornece uma estimativa de distância temporal $v_t$ . Para servir como um sinal de recompensa, isso é convertido em uma recompensa baseada em potencial via inversão de sinal: $\Phi_t = -v_t$ . Isso cria uma interface de recompensa densa onde estados mais próximos da conclusão possuem maior potencial (mais próximos de zero), preservando a escala temporal sem normalizá-la para um intervalo [0, 1] específico da tarefa.

Principais Resultados

Desempenho em Benchmarks (RBM-EVAL-OOD)

Avaliado na suíte de classificação de trajetórias RBM-EVAL-OOD (976 trajetórias em 6 datasets OOD):

O RynnValue-8B alcançou um $\tau_a$ de Kendall médio de 0.675, superando o estado da arte totalmente supervisionado por preferência (Robometer, 0.655) e mais que dobrando o contraparte de apenas progresso (0.292).
Mesmo a variante RynnValue-4B (0.670) superou o baseline supervisionado por preferência, sugerindo que os ganhos derivam da formulação de distância temporal e não meramente da escala do modelo.
As variantes do RynnValue alcançaram os melhores resultados em todos os seis datasets entre os métodos treinados sem supervisão explícita de preferência de trajetória.

Alinhamento Instrução-Trajetória

Em análises de matriz de confusão, o RynnValue demonstrou a estrutura diagonal mais clara (margem diagonal normalizada de 0.77), superando significativamente os baselines (0.67). Isso indica que o modelo distingue efetivamente pares de instrução-trajetória correspondentes de pares incompatíveis, fundamentando as recompensas no objetivo especificado pela linguagem, em vez de um progresso visual genérico.

Aprendizado de Política no Mundo Real

O RynnValue foi implantado como um anotador de recompensa zero-shot para RL online e offline em quatro tarefas desafiadoras do mundo real (Colocação de Cesta de Pães, Servir Bife, Caixa na Gaveta, Transferência de Caixa Bimanual) sem ajuste fino no domínio alvo.

RL Online: O RynnValue melhorou as taxas de sucesso de 52.5% (Robometer) para 72.5%.
RL Offline: O RynnValue melhorou as taxas de sucesso de 63.8% (Robometer) para 82.5%.
Notavelmente, o RynnValue permitiu o RL bem-sucedido em tarefas (Caixa na Gaveta, Transferência de Caixa Bimanual) onde o baseline de SFT obteve 0% de sucesso.

Análise de Escala

Experimentos que desvinculam quantidade de dados de diversidade mostraram que a diversidade de tarefas gera uma redução de erro consistentemente mais íngreme do que o volume de episódios. Simplesmente adicionar mais dados das mesmas tarefas leva à saturação precoce, enquanto aumentar a variedade de tarefas impulsiona a melhoria contínua na generalização.

Significância e Alegações

O artigo afirma que a distância temporal é um alvo de supervisão escalável e livre de preferências que unifica dados robóticos heterogêneos sob uma única interface. Ao derivar rótulos diretamente de timestamps, o RynnValue evita a necessidade de anotações de preferência caras ou normalização de progresso específica de cada dataset.

Os autores afirmam que o RynnValue estabelece um caminho prático para o treinamento de políticas robóticas generalistas:

Escalabilidade: Ele aproveita bases de dados massivas e heterogêneas sem o gargalo da rotulagem de preferência humana.
Robustez: Através do embaralhamento de ordem temporal e da atenção de isolamento de valor, ele aprende valores fundamentados em evidências visuais, tornando-se sensível a falhas e regressões.
Utilidade: Serve como uma interface de recompensa densa eficaz que melhora significamente o aprendizado de políticas online e offline em ambientes do mundo real, superando fortes baselines treinados com supervisão de preferência.

O trabalho conclui que a distância temporal oferece uma rota mais escalável para o aprendizado de valor robótico de propósito geral em comparação com as abordagens tradicionais baseadas em preferência ou normalização de progresso.