🤖 machine learning

Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

Este artigo apresenta um sistema premiado de dobra de roupas bimanual para o LeHome Challenge 2026 que alcança as primeiras colocações ao aprimorar uma política de visão-linguagem-ação com um loop de aprendizagem por reforço autossupervisionada, onde as próprias previsões da política de sucesso e progresso impulsionam a estimativa de vantagem e a detecção de falhas, apoiadas por um conjunto abrangente de otimizações de engenharia incluindo correspondência de fluxo, treinamento distribuído e transferência robusta de simulação para realidade.

Autores originais: Ilia Larchenko

Publicado 2026-06-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ilia Larchenko

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô tentando dobrar uma camiseta bagunçada ou uma calça. Parece simples para nós, mas para um robô, um pedaço de pano é como uma cobra caótica e escorregadia que muda de forma toda vez que você a toca. Este artigo descreve como o autor, Ilia Larchenko, construiu um cérebro de robô que conquistou o primeiro lugar em uma competição de simulação e o segundo lugar em uma competição no mundo real para esta tarefa exata.

Aqui está a história de como ele fez isso, dividida em conceitos simples.

1. O Problema: O "Fantasma" na Máquina

O robô tinha que dobrar quatro tipos de roupas (mangas longas/curtas, calças compridas/curtas) usando dois braços.

O Obstáculo: O robô não sabia o que estava segurando. Ele tinha que olhar para a camisa e descobrir: "Isso é uma camiseta ou uma calça?" antes de poder começar a dobrar.
A Recompensa: O robô só recebia uma "Estrela de Ouro" (uma recompensa) se a camisa estivesse perfeitamente dobrada ao final de tudo. Se ele errasse no meio do caminho, não recebia nada. É como tentar aprender a andar de bicicleta, mas só ganhar um biscoito se chegar à linha de chegada sem nunca cair.

2. A Solução: Um Ciclo de "Autodidatismo"

Em vez de apenas copiar demonstrações humanas (o que é como tentar aprender a nadar assistindo a um vídeo), o autor construiu um sistema que aprende fazendo, errando e tentando novamente. Ele chama isso de "Flywheel" (Volante de Inércia).

Pense nisso como uma equipe de três pessoas trabalhando em uma fábrica:

O Treinador: O professor que estuda os dados e atualiza o céreão do robô.
Os Corredores: Uma frota de robôs em um videogame (simulação) que tentam dobrar roupas milhares de vezes por dia.
O Ajudante Humano: Uma pessoa que intervém apenas quando o robô fica travado, corrige a camisa e deixa o robô tentar novamente.

Esses três não conversam diretamente entre si; eles apenas deixam notas em uma caixa de correio digital compartilhada (HuggingFace Hub). O Treinador lê as notas, aprende e deixa uma nova "atualização de cérebro" de volta na caixa. Os Corredores pegam essa atualização e tentam novamente.

3. O Ingrediente Secreto: O Robô é seu Próprio Juiz

Normalmente, na robótica, você precisa de um cérebro para decidir o que fazer e outro cérebro separado para adivinhar o quão bem está indo. Este autor fundiu os dois.

O Truque Mágico: A mesma rede neural que decide "agarrar a manga" também prevê "tenho 80% de chance de sucesso" e "estou 40% do caminho percorrido".
Por que ajuda: Como o robô conhece sua própria pontuação em tempo real, ele pode aprender mais rápido. Se ele prevê que vai falhar, sabe que deve tentar um movimento diferente. É como um aluno que não apenas faz a prova, mas também corrige suas próprias respostas imediatamente para ver onde errou.

4. Aprendendo com os Erros (A Estratégia de "Replay")

O autor percebeu que apenas praticar é entediante. Você precisa praticar as partes difíceis.

Mineração de Dificuldade (Hard Mining): Quando o robô falha, o sistema salva aquele momento exato (como um "Save State" em um videogame). Ele então carrega aquele estado de falha e tenta novamente, mas desta vez com "ruído" extra (mudanças aleatórias na iluminação ou na textura do tecido) para tornar o desafio maior.
O Toque Humano: Quando o robô fica verdadeiramente travado, o humano assume o controle por apenas alguns segundos para consertar a roupa e depois devolve o controle. O robô aprende com essa pequena correção. Isso é chamado de DAgger (um nome chique para "aprender com correções humanas").

5. Os "Óculos Mágicos" (Otimização de Inferência)

Mesmo com um cérebro inteligente, um robô pode ser desajeitado se se mover muito rápido ou muito devagar. O autor descobriu que, ao ajustar como o robô "pensa" no último segundo, o desempenho disparou.

A Analogia: Imagine que você está fazendo uma prova de múltipla escolha. Em vez de apenas escolher a primeira resposta que lhe vem à mente, você rapidamente gera três respostas diferentes em sua mente, verifica qual delas parece "melhor" com base no seu instinto (a pontuação) e então escolhe essa.
Thompson Sampling: O autor usou um jogo matemático (como uma máquina caça-níqueis) para descobrir automaticamente as configurações perfeitas para cada tipo de roupa (ex: "Para shorts, mova-se mais devagar; para calças compridas, agarre com mais força") sem precisar testar manualmente cada combinação.

6. O Desafio do Mundo Real: Do Videogame para a Realidade

A parte mais difícil foi passar da simulação no computador para um robô real em uma sala real.

O "Vale da Estranheza" da Física: Na simulação, as roupas pareciam perfeitas. Na realidade, a iluminação era diferente, a câmera estava levemente torta e os braços do robô tinham um pouco de "folga" (backlash).
A Solução: O autor não tentou tornar o robô perfeito. Em vez disso, ele tornou os dados de treinamento caóticos. Ele ensinou o robô a dobrar roupas no escuro, sob o sol forte, com a câmera inclinada e com o robão se movendo em diferentes velocidades.
O Resultado: Ao treinar o robô para estar confortável com o caos, ele não entrou em pânico ao ver o mundo real. Foi como treinar um surfista em um oceano tempestuoso para que uma praia calma pareça fácil.

7. O Resultado

Simulação: O robô dobrou roupas com sucesso 79,6% das vezes, vencendo 61 outras equipes.
Mundo Real: Ele ficou em 2º lugar na competição final, dobrando roupas reais em um robô real.

A Grande Lição

O autor admite que este não foi um experimento científico perfeito com variáveis controladas. Foi uma abordagem "jogar tudo o que tiver à mão" — lançando todas as ferramentas úteis (aprendizado por reforço, feedback humano, pesada aumentação de dados e suposições inteligentes) na panela até que funcionasse.

A principal conclusão é que, para os robôs lidarem com coisas bagunçadas e imprevisíveis como roupas, eles precisam ser capazes de prever seu próprio sucesso, aprender com as correções humanas e ser treinados em ambientes caóticos e variados para que não fiquem confusos quando a realidade não for igual ao videogame.

Resumo Técnico: Aprendendo a Dobrar no LeHome Challenge 2026

Definição do Problema

O artigo aborda o LeHome Challenge 2026, uma competição focada na manipulação bimanual robótica de objetos deformáveis (vestuário). A tarefa exige um robô com dois braços de 6 graus de liberdade (configuração SO-ARM101) e três câmeras RGB para dobrar quatro tipos de peças de roupa (camisas de manga longa/curta, calças de perna longa/curta) estendidas sobre uma mesa.

O desafio é dividido em duas fases:

Rodada Online (Simulação): As equipes competem no NVIDIA Isaac Sim. O sucesso é binário e geométrico, definido por condições específicas de distância de pontos-chave (ex: encontro das mangas, alinhamento da bainha). O conjunto de dados inclui 10 peças de roupa "vistas" com demonstrações roteirizadas e 10 peças "não vistas" (2 públicas, 8 privadas) sem dados de treinamento.
Final no Mundo Real: As melhores equipes implementam em robôs físicos. Os critérios de sucesso incluem crédito parcial para etapas intermediárias, julgados por um júri. Uma restrição crítica é que o tipo de vestimenta não é fornecido como entrada; a política deve inferi-lo.

Os principais desafios identificados incluem a natureza deformável do tecido (sensível à trajetória), recompensas binárias esparsas, generalização para roupas não vistas sem dados de treinamento e uma difícil transferência sim-to-real, visto que o robô de avaliação nunca esteve acessível durante o desenvolvimento.

Metodologia

A solução é um estudo de caso de engenharia que combina uma política de Visão-Linguagem-Ação (VLA) com um loop de Aprendizado por Reforço (RL), em vez de um estudo de ablação controlado.

1. Arquitetura da Política

O sistema baseia-se na arquitetura $\pi_0.5$ (estendida no BEHAVIOR-1K Challenge 2025), que utiliza um codificador de imagem SigLIP congelado, um transformer de prefixo Gemma-2B e um especialista de ação Gemma-300M que gera blocos de ação de 30 passos via flow matching.

Modificações para o LeHome:
- Token de Tipo de Vestimenta: Um embedding aprendido substitui os prompts de texto. Durante a inferência, um "System-2" bootstrap prevê o tipo de roupa no início do episódio para condicionar o restante do rollout.
- Condicionamento de Vantagem: A política é condicionada a um token de vantagem aprendido (estilo RECAP), permitindo o uso de Classifier-Free Guidance (CFG) na inferência.
- AdaRMS Multi-Sinal: A vantagem e o tipo de vestimenta são injetados nas camadas de normalização do especialista de ação através de um vetor aprendido, fortalecendo o condicionamento.
- Atenção Própria Exclusiva (XSA): Aplicada para evitar que os tokens roteiem trivialmente seus próprios valores, melhorando a estabilidade do treinamento.
- Normalização Suave: Os deltas de ação são normalizados por passo temporal para lidar com a variância crescente de trajetórias do tipo "random-walk".

2. A Política como Sua Própria Função de Valor

Em vez de um crítico separado, o modelo VLA inclui cabeças lineares auxiliares que preveem:

Probabilidade de Sucesso: Atua como a função de valor ( $V$ ).
Progresso de Conclusão: Prevê $t/T$ para modelagem baseada em potencial.
Distâncias de Pontos-Chave: Prevê as razões específicas usadas no verificador de sucesso.
Previsões Futuras: Uma cabeça de "função Q" prevê o resíduo de sucesso ( $\Delta_{success}$ ) 30 frames à frente, condicionado ao bloco de ação proposto. Isso permite a seleção Best-of-N na inferência.

3. Loop de Treinamento de RL (O Flywheel)

O sistema utiliza um pipeline assíncrono que se comunica via HuggingFace Hub:

Algoritmos: Combina AWR (Advantage Weighted Regression) e RECAP (condicionamento de vantagem).
- AWR: Frames com alta vantagem são amostrados com maior frequência ( $P \propto e^{A/\beta}$ ) em vez de serem reponderados na perda, garantindo 100% de utilização do lote em dados de alto valor.
- RECAP: A vantagem é alimentada como um token de entrada, permitindo que o modelo aprenda a "prever apenas boas ações" e possibilitando o CFG.
Estratégia de Dados:
- Amostragem de Múltiplos Datasets: O carregador mistura dados de Behavior Cloning (BC), rollouts de RL e dados de DAgger (Human-in-the-loop).
- Decaimento: Os dados de RL decaem ao longo do tempo para priorizar dados on-policy.
- Recuperação: Um loop DAgger permite que humanos corrijam estados de falha na simulação (embora isso tenha se mostrado difícil na simulação) e no robô real.
- Rollback: O processo de treinamento periodicamente retorna a checkpoints antigos para escapar de ótimos locais usando novos dados off-policy.

4. Design de Recompensa e Vantagem

Como a recompensa real é binária, o sistema projeta recompensas intermediárias densas:

Checkpoints: Recompensas intermediárias (0.5) são concedidas ao atingir marcos específicos de distância de pontos-chave.
Retirada por Falha: Se um episódio falha, toda a recompensa acumulada é retirada para manter um retorno binário, evitando que o modelo aprenda a "manipular" estados intermediários.
Estimativa de Vantagem: Utiliza Generalized Advantage Estimation (GAE) combinando a probabilidade de sucesso amortecida e o progresso de conclusão. Para rollouts obsoletos, a vantagem degrada graciosamente para um sinal de sucesso relativo estilo GRPO.
Impulso de Precisão: Episódios bem-sucedidos que satisfazem as condições de forma "estreita" recebem uma vantagem de bônus para incentivar dobras de alta qualidade.

5. Otimização em Tempo de Inferência

O mesmo checkpoint é otimizado na implantação sem retreinamento:

Thompson Sampling: Um algoritmo multi-armed bandit ajusta hiperparâmetros (comprimento de execução, escala de orientação, temperatura de ruído, contagem de candidatos) por tipo de vestimenta durante a coleta de rollouts.
Best-of-N: Múltiplos blocos de ação são amostrados do mesmo prefixo; aquele com o maior $\Delta_{success}$ previsto é executado.
Soft Inpainting: Blocos de ação sobrepostos são ancorados para garantir trajetórias suaves e aderência ao modo.

6. Transferência Sim-to-Real

A transferência para o mundo real foi um "sprint" envolvendo:

Poda do Modelo: Removeu cabeças exclusivas da simulação (distâncias de pontos-chave, modelo de mundo) e o condicionamento de vantagem, mantendo apenas o especialista de ação, a cabeça de tipo de vestimenta e a cabeça de conclusão.
Mistura de Dados: Ajuste fino (fine-tuning) em uma mistura de dados BC de organizadores, dados de teleop/DAgger pessoal e replays de simulação fortemente aumentados.

Alinhamento e Aumento: Utilizou uma ferramenta de sobreposição de câmera para alinhar o setup físico com o alvo. Aplicou aumento extremo (jitter de cor, ruído, queda de câmera, redimensionamento de intensidade de movimento) para reduzir a lacuna de domínio.

DAgger no Robô Real: Coleta de dados de recuperação fazendo com que um humano intervenha quando a política falha, ponderando os frames com base na proximidade da intervenção.

Resultados

Rodada Online (Simulação): Alcançou o 1º lugar entre 62 equipes com uma taxa de sucesso geral de 79,63%, superando a segunda colocada por 6,1 pontos percentuais.
- Desempenho por tipo: Camisas Manga Longa (74,5%), Camisas Manga Curta (70,0%), Calças Longas (80,5%), Calças Curtas (93,5%).
Final no Mundo Real: Alcançou o 2º lugar. A pontuação foi de 865 de um máximo de 1080 pontos.
- A política dobrou com sucesso roupas não vistas e lidou com a dinâmica do robô físico, embora tenha dependido fortemente de dados DAgger para recuperação em vez de exploração autônoma.

Significância e Alegações

O autor frame este trabalho como um estudo de caso de engenharia em vez de um experimento científico controlado, observando que o sistema foi construído iterativamente sob pressão de competição com estudos de ablação limitados.

Receita Prática: O artigo afirma que a solução é uma "receita" de recombinação de ideias existentes (AWR, RECAP, Flow Matching, DAgger) que podem ser usadas juntas ou individualmente.
Política como Função de Valor: Demonstra que um único modelo VLA pode servir efetivamente tanto como política quanto como função de valor (preditores de sucesso/conclusão), simplificando o pipeline de treinamento e permitindo a seleção eficiente Best-of-N.
Ajuste em Tempo de Inferência: O trabalho destaca que ganhos significativos de desempenho podem ser alcançados otimizando hiperparâmetros de inferência (via Thompson sampling) sem treinamento adicional.
Sim-to-Real via Diversidade: Argumenta que o aumento pesado e a randomização deliberada do rig, combinados com uma estratégia de transferência "sim-to-real-to-real", podem superar lacunas de domínio significativas mesmo sem acesso ao robô de avaliação.
Limitações: O autor admite que o sistema carece de exploração/recuperação autônoma robusta. A política é excelente em refinar comportamentos conhecidos, mas tem dificuldade em recuperar de estados completamente fora de sua distribuição de treinamento sem intervenção humana (DAgger). O autor sugere que um pipeline unificado combinando a maquinaria de RL da rodada de simulação com os dados de recuperação do mundo real da rodada final poderia potencialmente alcançar >90% de sucesso.