🤖 machine learning

RoboTTT: Context Scaling for Robot Policies

O artigo apresenta o RoboTTT, um framework de política robótica que integra o Treinamento em Tempo de Teste para escalar o contexto visuomotor para 8.000 passos de tempo, permitindo imitação de um único passo (one-shot), melhoria em tempo real e desempenho significativamente superior em tarefas de longo horizonte ao comprimir o histórico em pesos rápidos sem aumentar a latência de inferência.

Autores originais: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde robôs são como chefs incrivelmente talentosos, mas com visão curta. Eles podem picar uma cenoura ou virar um hambúrguer perfeitamente se você disser exatamente o que fazer agora, mas se você pedir para eles assarem um bolo complexo do zero, eles costumam esquecer o primeiro passo quando chegam ao segundo. Este é o estado atual dos "modelos de fundação de robôs" — os cérebros inteligentes por trás dos robôs modernos. Eles geralmente só olham para a última coisa que viram antes de fazer um movimento, como tentar navegar em um labirinto olhando apenas para o chão diretamente sob seus pés. Embora isso funcione para tarefas simples, falha miseravelmente quando um robô precisa se lembrar de uma sequência longa de eventos, como montar um carrinho de brinquedo ou consertar uma placa de circuito, especialmente se algo inesperado acontecer ao longo do caminho. Cientistas há muito se perguntam: e se um robô pudesse se lembrar de tudo o que acabou de fazer, não apenas do último segundo, e usar essa memória longa para aprender e se adaptar sobre a marcha?

Apresentamos o RoboTTT, um novo tipo de cérebro de robô desenvolvido por pesquisadores da NVIDIA, Stanford e da Universidade do Texas em Austin. Pense no RoboTTT não como um robô que apenas "lembra" uma longa lista de passos, mas como um robô que possui um caderno mágico e de atualização automática. Enquanto os robôs tradicionais possuem um cérebro estático que permanece o mesmo depois de construído, o RoboTTT possui um sistema especial de "pesos rápidos". Imagine que toda vez que o robô vê algo novo ou faz um movimento, ele instantaneamente anota uma pequena nota em seu caderno, mudando sua própria fiação interna apenas o suficiente para entender melhor a situação atual. Isso acontece em tempo real, mesmo enquanto o robô está trabalhando. Ao escalar este "caderno" para conter uma quantidade massiva de histórico — até 8.000 passos de tempo (que são cerca de cinco minutos de ação contínua em alta velocidade) — o RoboTTT desbloqueia superpoderes que robôs anteriores não poderiam sequer sonhar. Ele pode observar um humano realizar uma tarefa uma única vez e copiá-la perfeitamente sem qualquer treinamento prévio naquela configuração específica. Ele também pode corrigir seus próprios erros instantaneamente se um humano esbarrar nele ou se ele deixar cair uma peça, tudo ao olhar para trás em seu próprio histórico recente para descobrir o que deu errado.

Os pesquisadores descobriram que dar aos robôs essa memória de contexto longo não é apenas uma pequena atualização; é um divisor de águas. Em seus testes, o RoboTTT foi capaz de completar uma tarefa de montagem complexa de dez estágios que levou cinco minutos para terminar — uma tarefa que nenhum outro modelo de robô, mesmo os melhores com memórias curtas, conseguiria jamais concluir. Enquanto os robôs padrão falharam em passar dos primeiros passos, o RoboTTT teve sucesso em 6 de 10 tentativas de imitação de um único passo (copiando um vídeo humano que nunca tinha visto antes) e se recuperou de esbarrões externos com uma taxa de sucesso de 83%, comparado a apenas 53% para o melhor robô de memória curta. O artigo sugere que simplesmente tornar a memória do robô mais longa é uma nova maneira de torná-lo mais inteligente, mostrando melhorias constantes à medida que a memória crescia de alguns segundos para mais de quatro minutos.

Um dos truques mais legais que o RoboTTT executa é algo chamado "Destilação DAgger". Imagine um aluno aprendendo a andar de bicicleta. Se ele cai, um pai pode segurá-lo e guiá-lo de volta ao caminho. Um robô normal poderia simplesmente esquecer a queda e tentar andar novamente, cometendo o mesmo erro. O RoboTTT, no entanto, trata a queda e a correção como uma única história. Ele aprende com o erro (a queda) ao olhar para a correção (a ajuda do pai) e atualiza seu "caderno" interno para lembrar: "Quando eu me inclino desta maneira, preciso guiar daquela maneira". Isso permite que ele melhore seu próprio desempenho sobre a marcha, sem precisar que um humano o ensine novamente. O estudo mostra que este método ajuda o robô a se recuperar de erros 36% melhor do que modelos que não utilizam essa técnica.

O artigo também descarta algumas ideias comuns sobre como consertar a memória do robô. Por exemplo, simplesmente colar uma longa lista de imagens passadas no céreão do robô (como um feed de vídeo longo) não funciona bem; na verdade, confunde o robô e faz com que ele tenha um desempenho pior. Da mesma forma, usar uma memória "recorrente" padrão (como um loop simples que atualiza um estado) não é suficiente. Os pesquisadores descobriram que a chave é a maneira como a memória é atualizada: ela precisa ser um sistema flexível e não linear que altera seus próprios parâmetros usando um processo semelhante ao modo como os humanos aprendem com a experiência (descida de gradiente), em vez de apenas deslocar um estado estático.

No fim, o RoboTTT sugere que o futuro da inteligência robótica pode não ser apenas sobre tornar o cérebro do robô maior ou mais inteligente em um sentido estático, mas sim sobre dar a ele a capacidade de aprender e se adaptar continuamente enquanto trabalha. Ao escalar o contexto para 8.000 passos de tempo, os pesquisadores mostraram que os robôs podem se tornar muito mais robustos, capazes de lidar com tarefas longas e complexas, e até mesmo aprender com uma única demonstração humana. Embora o artigo observe que o treinamento desses modelos é caro e que eles ainda não conseguem lidar com todas as possibilidades de falha, os resultados sugerem fortemente que o "contexto longo" é um novo e poderoso eixo para escalar a inteligência robótica, transformando máquinas desajeitadas e de visão curta em solucionadores de problemas adaptáveis e de longo prazo.

Resumo Técnico: RoboTTT – Escalonamento de Contexto para Políticas de Robôs

Declaração do Problema

Os atuais modelos de fundação para robótica de última geração, particularmente as políticas de Visão-Linguagem-Ação (VLA), operam tipicamente com contextos visuomotores de passo único ou de histórico curto (ex: 2 a 8 passos temporais). Embora os grandes modelos de linguagem tenham escalado com sucesso o comprimento do contexto para desbloquear o raciocínio complexo, a robótica tem dependido amplamente de bancos de memória externos para raciocínio de longo prazo ou de políticas de contexto curto que lutam com tarefas de longo horizonte. Esta limitação dificulta capacidades como imitação de um único passo (one-shot) a partir de demonstrações em vídeo humano, melhoria de política em tempo real a partir do próprio histórico de implantação de um robô ou robustez a perturbações externas em tarefas de montagem de múltiplos estágios. O desafio central é como construir políticas visuomotores que possam aprender com e explorar contextos arbitrariamente longos sem incorrer em custos proibitivos de latência de inferência ou memória.

Metodologia: RoboTTT

Os autores introduzem o RoboTTT (Políticas de Robô de Treinamento em Tempo de Teste), um framework que escala o contexto visuomotor para 8.000 passos temporais (aproximadamente cinco minutos de operação a 30 Hz) integrando o Treinamento em Tempo de Teste (TTT) em modelos de fundação de robótica.

Arquitetura Central

O RoboTTT é instanciado sobre o modelo VLA GR00T N1.7, utilizando uma cabeça de ação de Transformer de Difusão (DiT). A principal inovação arquitetônica é a inserção de camadas TTT após as camadas de autoatenção e de atenção cruzada.

Pesos Rápidos (Fast Weights): Ao contrário dos "pesos lentos" padrão (parâmetros congelados do modelo), o RoboTTT emprega "pesos rápidos" (parâmetros de uma pequena rede neural, por exemplo, um MLP) que são atualizados via gradiente descendente durante tanto o treinamento quanto a inferência.
Mecanismo: Em cada passo temporal, o modelo processa a observação atual e o histórico. A camada TTT atualiza os pesos rápidos para associar o contexto atual (chaves) com suas projeções de valor, efetivamente comprimindo o histórico no espaço de pesos. Os pesos atualizados são então usados para gerar a saída (ações) para o passo atual.
Portão (Gating): Para preservar o conhecimento do backbone VLA pré-treinado, utiliza-se um mecanismo de portão tanh aprendível. Isso garante que a contribuição do TTT comece pequena e cresça à medida que o modelo aprende a ajustar sua dependência dos pesos rápidos sem sobrecarregar a computação do modelo pré-treinado.

Receita de Treinamento

Para escalar o treinamento para 8K passos temporais sem explodir a memória da GPU, os autores empregam uma estratégia de treinamento específica:

Forçamento de Sequência de Ação (Sequence Action Forcing): No treinamento de sequência, os níveis de ruído para o flow-matching são amostrados independentemente para cada bloco de ação dentro de uma sequência. Isso evita que toda a sequência se torne uniformemente fácil ou difícil de aprender, estabilizando o treinamento.
Retropropagação através do Tempo Truncada (TBPTT): A sequência de entrada é dividida em segmentos. Os gradientes fluem apenas dentro de cada segmento para limitar o uso de memória, mas os pesos rápidos são carregados através das fronteiras dos segmentos. Isso permite que o mecanismo TTT mantenha um estado contínuo sobre o contexto total de 8K enquanto mantém o footprint de memória constante em relação ao comprimento do segmento.
Meta-Aprendizado: As matrizes de projeção e a inicialização dos pesos rápidos ( $W_0$ ) são otimizadas via gradientes de gradientes, adaptando a dinâmica de atualização especificamente para trajetórias de robôs.

Estratégias de Adaptação de Contexto

O RoboTTT permite duas formas inovadoras de adaptação ao desacoplar as atualizações de pesos rápidos dos alvos de imitação:

Imitação de Um Único Passo (One-Shot Imitation): O modelo pode condicionar-se a uma demonstração de vídeo humano. Durante o treinamento, a parte do vídeo atualiza os pesos rápidos (perda mascarada), enquanto a trajetória do robô usa esses pesos atualizados para gerar ações. Isso permite que o robô aprenda uma nova configuração de tarefa a partir de um único vídeo no tempo de teste.
Destilação DAgger: Em vez de descartar ações subótimas do robô como na DAgger padrão, o RoboTTT usa o histórico completo de interação (incluindo falhas) para atualizar os pesos rápidos, enquanto apenas as correções humanas servem como o alvo de imitação. Isso destila o mapeamento "falha-para-correção" nos pesos rápidos, permitindo que a política se recupere de seus próprios erros em tempo real.

Principais Resultados

Experimentos foram conduzidos em três tarefas de montagem de longo horizonte e bimanual: Pup Go Car (2 min), Circuit (1 min) e Gear Bot (5 min).

Ganhos de Desempenho: O RoboTTT (contexto de 8K) alcançou uma pontuação média de conclusão de tarefa de 79%, uma melhoria de 87% sobre a linha de base de contexto de passo único (GR00T N1.7, 42%) e uma melhoria de 41% sobre a melhor linha de base de contexto curto (GDN, 56%).
Sucesso de Longo Horizonte: Na tarefa de 5 minutos Gear Bot, o RoboTTT alcançou 2/10 tentativas totalmente bem-sucedidas, enquanto nenhuma linha de base alcançou um único sucesso total.
Lei de Escalonamento (Scaling Law): Os autores observaram um aumento constante e não saturante no desempenho de loop fechado conforme o comprimento do contexto de pré-treinamento aumentava de 128 para 8K passos temporais. O RoboTTT-8K superou o mesmo modelo pré-treinado com 1K de contexto em 63%.
Imitação de Um Único Passo: Na tarefa Circuit com configurações não vistas, o RoboTTT obteve sucesso em 6/10 tentativas baseadas em uma única demonstração de vídeo humano, enquanto a linha de base GDN falhou inteiramente (0/10).
Robustez: Sob perturbações externas (ex: remover uma peça após a instalação), o RoboTTT recuperou-se em 15/20 tentativas de perturbação de telhado, superando significativamente as linhas de base de contexto curto (máximo de 10/20).
Melhoria em Tempo Real: Através da Destilação DAgger, o RoboTTO melhorou sua pontuação de conclusão de tarefa em 36% comparado ao ajuste fino da DAgger padrão, demonstrando a capacidade de aprender estratégias de recuperação a partir de seu próprio histórico de falhas.

Significância e Alegações

O artigo afirma que o comprimento do contexto é um novo eixo de escalonamento para modelos de fundação de robótica, distinto do tamanho do modelo ou do volume de dados. Ao integrar o Treinamento em Tempo de Teste, o RoboTTT demonstra que:

O condicionamento de contexto longo desbloqueia capacidades anteriormente inacessíveis para políticas padrão, especificamente a imitação de um único passo e a melhoria dinâmica de política.
Pesos rápidos atualizados via gradiente descendente durante a inferência fornecem um mecanismo mais expressivo para comprimir e recuperar informações de fluxos robóticos densos e repetitivos em comparação com estados recorrentes lineares (como Gated DeltaNets).
O treinamento em sequências longas produz ganhos de desempenho constantes, sugerindo que a capacidade de reter e utilizar o histórico visuomotor de longo prazo é crítica para tarefas de manipulação complexas e de múltiplos estágios.

Os autores concluem que, embora existam desafios em relação aos custos de treinamento e ao tratamento de todos os modos de falha, o RoboTTT estabelece um novo paradigma onde as políticas podem adaptar-se e melhorar continuamente ao alavancar seu próprio histórico operacional como contexto.