💻 computer science

HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy

O artigo apresenta o HAMLET, um framework escalável que adapta Modelos Visão-Linguagem-Ação (VLAs) para incorporar contexto histórico na previsão de ações, utilizando tokens de momento e um módulo de memória leve, resultando em melhorias significativas no desempenho de tarefas de manipulação robótica que dependem de histórico, especialmente em tarefas de longo horizonte.

Autores originais: Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Publicado 2026-04-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🤖 O Problema: O Robô com "Amnésia de 1 Segundo"

Imagine que você está ensinando um robô a fazer uma tarefa complexa, como arrumar a mesa para o jantar.

O jeito antigo (Modelos VLA atuais): O robô é como alguém que só consegue ver o que está acontecendo exatamente agora. Se você colocar uma xícara sobre um prato, ele vê a xícara. Se você tirar a xícara e esconder o prato, ele não sabe que o prato estava ali antes. Ele age como se tivesse "amnésia de 1 segundo".
O resultado: Em tarefas simples, ele funciona bem. Mas em tarefas longas (como "pegue o copo, coloque na mesa, depois pegue a garrafa e sirva a água"), ele se perde. Ele não lembra se já pegou o copo ou se já serviu a água. Ele fica confuso e erra.

💡 A Solução: HAMLET (O "Caderno de Anotações" do Robô)

Os autores criaram o HAMLET. Pense nele não como um robô novo, mas como um acessório inteligente que você coloca no robô existente para dar a ele uma "memória de curto prazo".

O nome é uma brincadeira com o personagem Hamlet, que era famoso por refletir e lembrar de coisas, mas aqui significa: History-Aware Memory with Learned Embedded Tokens (Memória Consciente de História com Tokens Aprendidos).

O HAMLET funciona em duas etapas mágicas:

1. Os "Momentos" (Moment Tokens) 📸

Imagine que o robô está tirando fotos da cena a cada segundo. Guardar todas as fotos em alta resolução ocuparia muita memória e deixaria o robô lento.

O que o HAMLET faz: Em vez de guardar a foto inteira, ele cria um "resumo instantâneo" (um moment token) de cada segundo. É como se o robô dissesse: "Neste segundo, a mão estava perto da xícara azul" ou "Neste segundo, o objeto foi escondido".
O Truque: Esses resumos são treinados para focar apenas no que muda e é importante (como o objeto sendo movido) e ignorar o que é estático (como a cor da parede). É como um fotógrafo que só tira foto do que se mexe, ignorando o fundo parado.

2. O "Cérebro de Memória" (Memory Module) 🧠

Agora que o robô tem esses resumos, ele precisa saber quais deles são importantes para o que vai fazer agora.

O problema de apenas juntar tudo: Se você apenas empilhar todos os resumos um em cima do outro, o robô fica sobrecarregado com informações inúteis (como "a parede ainda está branca").
O que o HAMLET faz: Ele usa um pequeno "filtro inteligente" (um módulo de memória leve). Quando o robô precisa decidir o próximo movimento, esse filtro olha para os resumos passados e diz: "Espera! Lembre-se de 3 segundos atrás, quando a xícara estava no lado esquerdo. Isso é crucial agora!".
Analogia: É como um detetive que, ao investigar um crime, não lê todo o diário da vítima do início ao fim, mas sabe exatamente em qual página estava a pista importante para resolver o caso atual.

🚀 Por que isso é revolucionário?

Não precisa reescrever o cérebro do robô: A maioria dos robôs inteligentes hoje já foi treinada com milhões de dados. Re-treinar tudo para incluir memória seria caríssimo e demorado. O HAMLET é como um plug-and-play. Você pega um robô que já sabe falar e ver, e apenas "conecta" esse módulo de memória.
É super leve: O jeito "burro" de dar memória ao robô seria mostrar a ele 4 ou 5 fotos antigas de cada vez. Isso deixaria o robô lento e consumiria muita energia (como tentar ler 5 livros ao mesmo tempo). O HAMLET é eficiente: ele usa apenas os resumos, mantendo a velocidade quase a mesma do robô original.
Funciona em tarefas longas: Nos testes, robôs com HAMLET conseguiram resolver tarefas complexas de cozinha e troca de objetos com muito mais sucesso do que os modelos antigos. Eles conseguiram lembrar: "Ah, eu já peguei o bloco azul, agora preciso pegar o verde".

📊 O Resultado na Prática

Imagine um teste onde o robô precisa:

Cobrir um cubo com uma xícara.
Empilhar outra xícara em cima.
Trocar a posição de dois cubos.

Sem HAMLET: O robô esquece qual cubo ele já moveu. Ele tenta pegar o mesmo cubo duas vezes ou tenta cobrir algo que já está coberto. Ele falha.
Com HAMLET: O robô lembra do histórico. Ele sabe exatamente qual é o próximo passo lógico, mesmo que o objeto esteja escondido por um momento. A taxa de sucesso saltou de cerca de 30% para mais de 75% em tarefas reais do mundo.

🏁 Conclusão

O HAMLET é como dar um "segundo cérebro" de memória aos robôs atuais. Ele permite que eles olhem para trás, aprendam com o que acabaram de fazer e tomem decisões melhores para o futuro, tudo isso sem precisar ser reprogramados do zero e sem ficar lentos. É um passo gigante para robôs que conseguem realmente ajudar em tarefas domésticas complexas, como arrumar a casa ou cozinhar.

Título: HAMLET: Transforme seu Modelo Visão-Linguagem-Ação em uma Política Consciente de Histórico

1. O Problema

Os modelos Visão-Linguagem-Ação (VLAs) atuais, que utilizam grandes modelos de linguagem e visão pré-treinados para controle robótico, geralmente operam sob uma hipótese de quadro único (single-frame assumption). Isso significa que eles preveem ações baseando-se apenas na observação visual atual, ignorando o contexto histórico (ações e observações passadas).

Limitação Crítica: Muitas tarefas de manipulação robótica são inerentemente dependentes de histórico (não-Markovianas). Por exemplo, decidir se um objeto deve ser solto ou movido depende de saber se ele já foi agarrado anteriormente ou se está oculto.
Desafio Computacional: Uma solução ingênua seria concatenar múltiplos quadros passados na entrada do modelo. No entanto, o artigo demonstra que isso causa um sobrecarga computacional significativa: adicionar apenas quatro quadros passados aumenta o tempo de inferência em ~35% e o consumo de memória em ~3,6x, limitando a escalabilidade e o tamanho do batch durante o treinamento.
Questão de Pesquisa: Como integrar a consciência de histórico em VLAs pré-treinados sem a necessidade de um pré-treinamento custoso do zero ou sem sobrecarregar a memória?

2. Metodologia: O Framework HAMLET

O HAMLET (History-Aware Memory with LEarned Tokens) é um framework de fine-tuning plug-and-play que adapta VLAs existentes para utilizar contexto histórico de forma eficiente. A arquitetura consiste em dois componentes principais:

A. Moment Tokens (Tokens de Momento)

Função: Comprimir a informação visual e contextual de cada timestep em uma representação compacta.
Implementação: Um conjunto de tokens aprendíveis ( $m_t$ ) é anexado à entrada do VLM (Vision-Language Model) a cada passo de tempo.
Inicialização (Time-Contrastive Learning - TCL): Para garantir que esses tokens capturem características temporais distintivas e não apenas ruído estático (como o fundo), eles são inicializados usando Aprendizado Contrastivo Temporal.
- O objetivo é alinhar representações da mesma timestep (com aumentos de imagem) e afastá-las de timesteps diferentes dentro da mesma trajetória.
- Isso força os tokens a focar em dinâmicas relevantes para a tarefa (ex: movimento do braço, mudança de posição do objeto) e suprimir informações redundantes.

B. Módulo de Memória Leve (Lightweight Memory Module)

Função: Integrar e consolidar os moment tokens de passos de tempo anteriores para criar uma condição temporalmente informada para a previsão de ação.
Implementação: Utiliza um Transformador leve (com atenção causal) que processa uma janela de moment tokens passados.
Mecanismo de Seleção: Diferente de simplesmente concatenar todos os quadros, o módulo de memória aprende a atender seletivamente aos timesteps mais informativos do passado, ignorando momentos irrelevantes. Isso evita a "confusão causal" e reduz a redundância.
Integração: A representação de memória enriquecida ( $\tilde{m}'_t$ ) é concatenada com a representação atual do VLM ( $h_t$ ) e alimentada no especialista de ação (Action Expert) para prever o bloco de ações futuras.

3. Contribuições Principais

Framework Integrável: Propõe o HAMLET, uma solução que permite que VLAs pré-treinados (como GR00T N1.5 e CogACT) adquiram consciência de histórico sem re-treinamento massivo do zero.
Inovação em Tokens e Memória: Introduz os moment tokens inicializados via TCL para extração eficiente de características temporais e um módulo de memória baseado em Transformador para agregação seletiva.
Eficiência e Generalização: Demonstra que é possível obter ganhos significativos em tarefas de longo prazo mantendo a eficiência computacional próxima à de modelos de quadro único, superando abordagens ingênuas de múltiplos quadros.

4. Resultados Experimentais

Os autores avaliaram o HAMLET em ambientes reais e de simulação, comparando com bases de estado da arte (SOTA) e baselines de múltiplos quadros.

Tarefas do Mundo Real (Robótica Física):
- Em tarefas de longo horizonte (ex: "Trocar dois cubos", "Cobrir e empilhar"), o HAMLET aplicado ao GR00T N1.5 alcançou uma taxa de sucesso média de 76,4%.
- Isso representa uma melhoria de 47,2% em relação à versão base do GR00T N1.5 (que não usa histórico) e supera significativamente a baseline de múltiplos quadros (que obteve apenas 45,8%).
- O modelo base frequentemente falhava em tarefas que exigiam lembrar se um objeto já foi agarrado ou qual objeto estava oculto, enquanto o HAMLET corrigia esses erros.
Benchmarks de Simulação:
- RoboCasa Kitchen: O HAMLET elevou a taxa de sucesso de 64,1% (GR00T N1.5 base) para 66,4%.
- LIBERO: Aumentou o desempenho de 95,6% para 97,6%, empurrando o limite de desempenho em benchmarks já saturados.
- SimplerEnv-Bridge (com CogACT): Melhorou a taxa de sucesso de 52,1% para 63,5%.
Análise de Eficiência:
- Enquanto a baseline de múltiplos quadros aumentou a latência em 2,4x e o uso de memória em 7x (para histórico de 8 quadros), o HAMLET aumentou a latência em apenas 1,07x e a memória em 2,0x, mantendo-se altamente eficiente.
Ablação e Generalização:
- Estudos de ablação confirmaram que tanto os moment tokens (com TCL) quanto o módulo de memória são essenciais; remover qualquer um degrada o desempenho.
- O módulo de memória mostrou capacidade de transferência: um módulo treinado no conjunto de dados LIBERO funcionou bem quando aplicado ao RoboCasa, indicando que aprendeu representações de memória generalizáveis.

5. Significado e Impacto

O trabalho HAMLET é significativo porque resolve um dos principais gargalos na aplicação prática de VLAs em robótica: a incapacidade de lidar com dependências temporais de longo prazo de forma eficiente.

Viabilidade Prática: Ao evitar o custo proibitivo de pré-treinamento do zero e minimizar a sobrecarga de inferência, o HAMLET torna viável a implantação de políticas robóticas "conscientes de histórico" em hardware real.
Superioridade sobre Abordagens Ingênuas: O artigo prova que simplesmente adicionar mais quadros de entrada não é a solução ideal; a extração inteligente de características temporais e a agregação seletiva via memória são superiores.
Futuro da Robótica: O framework abre caminho para que robôs realizem tarefas complexas de manipulação doméstica e industrial que exigem raciocínio sobre o que aconteceu anteriormente, superando as limitações de modelos puramente reativos.

Em resumo, o HAMLET transforma modelos de visão-linguagem-ação estáticos em agentes dinâmicos capazes de "lembrar" e "planejar", essenciais para a autonomia robótica robusta no mundo real.