💻 computer science

HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation

O artigo apresenta o HABIT, um conjunto de dados de larga escala com mais de 10.000 episódios de manipulação robótica com presença humana organizados nos papéis de Colaborador, Colega e Supervisor, o que permite que as políticas aprendam comportamentos essenciais de consciência humana, como sincronização, cedência e ancoragem de gestos, que estão ausentes em conjuntos de dados tradicionais sem presença humana.

Autores originais: Jaehwi Song, Suchae Jeong, Byeongguk Jeon, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaehwi Song, Suchae Jeong, Byeongguk Jeon, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a fazer tarefas domésticas. A maioria dos robôs hoje é treinada em um cenário de "cidade fantasma": eles praticam mover caixas, limpar mesas e separar o lixo em uma sala vazia onde não há humanos por perto. Eles se tornam muito bons nos movimentos físicos, mas não têm ideia de como agir quando uma pessoa real está parada bem ao lado deles. Eles podem esbarrar em você, ignorar seus gestos manuais ou tentar pegar uma ferramenta enquanto você ainda a está segurando.

O artigo apresenta o HABIT (Human-Aware Behavior and Interaction Training - Treinamento de Comportamento e Interação com Consciência Humana), um novo conjunto de dados projetado para corrigir isso. Pense no HABIT não apenas como uma biblioteca de movimentos de robô, mas como uma biblioteca de passos de dança onde o robô e um parceiro humano estão aprendendo a se mover juntos.

Os Três "Estilos de Dança"

Os pesquisadores organizaram as tarefas em três papéis distintos, como diferentes gêneros de dança, para ensinar ao robô como lidar com diferentes situações sociais:

O Colaborador (O Tango):
- O Cenário: O humano e o robô devem trabalhar juntos no mesmo objeto ao mesmo tempo.
- A Analogia: Imagine duas pessoas tentando carregar um sofá pesado por uma escada. Se uma pessoa se mover rápido demais ou devagar demais, elas tropeçam. Neste papel, o rob way aprende a esperar que o humano levante um canto antes de se mover, ou a entregar uma ferramenta exatamente quando o humano estende a mão para pegá-la. É tudo sobre sincronização.
- Exemplo: Um humano coloca um guardanapo em uma bandeja, e o robô levanta a bandeja para ajudar.
O Colega de Trabalho (A Dança da Conga):
- O Cenário: O humano e o robô estão na mesma sala realizando tarefas diferentes, mas compartilham o mesmo espaço.
- A Analogia: Imagine duas pessoas cozinhando em uma cozinha pequena. Uma está cortando vegetais e a outra está mexendo uma panela. Elas não estão se tocando, mas precisam desviar uma da outra para não colidirem. O robô aprende a ceder (dar passagem) se o humano caminhar em sua direção, em vez de seguir em frente atropelando tudo.
- Exemplo: Um humano separa o lixo de um lado de uma mesa enquanto o robô embala caixas do outro lado, constantemente desviando um do caminho do outro.
O Supervisor (O Maestro):
- O Cenário: O humano dá direções e o robô as segue.
- A Analogia: Imagine um maestro acenando uma batuta para dizer a uma orquestra quando tocar. O robô aprende a observar as mãos e os olhos do humano. Se o humano aponta para um donut específico, o robô não apenas pega o primeiro que vê; ele olha para o dedo e pega aquele donut específico. Ele aprende o direcionamento por gesto (gesture grounding).
- Exemplo: Um humano aponta para um recipiente específico, e o robô coloca o pão dentro dele.

Como Eles Coletaram os Dados

Para garantir que o robô realmente aprendesse essas habilidades sociais, os pesquisadores não deixaram o humano e o robô brincarem aleatoriamente. Eles usaram um "roteiro" rigoroso (chamado de workflow) que os forçava a reagir um ao outro em tempo real.

Sem "Códigos de Trapaça": O operador humano não podia simplesmente adivinhar o que o robô faria a seguir. Eles tinham que esperar o robô se mover antes de reagם, e vice-versa. Isso garantiu que o robô aprendesse a responder a sinais humanos reais, e não apenas padrões memorizados.
Segurança em Primeiro Lugar: Se o robô parecesse que ia bater no humano, o operador humano imediatamente puxava o robô de volta. Isso ensinou ao robô que "parar" é um movimento válido e importante.

O Que Aconteceu Quando Eles Testaram?

Os pesquisadores pegaram dois cérebros de robô existentes (modelos de IA) e os treinaram com esses novos dados do HABIT. Eles compararam esses robôs "treinados com HABIT" contra robôs treinados apenas com os antigos dados da "cidade fantasma".

Os Resultados: Os robôs treinados com HABIT foram significamente melhores.
- No papel de Colega de Trabalho, eles pararam de colidir com humanos.
- No papel de Supervisor, eles realmente olharam para onde o humano apontou em vez de apenas adivinhar.
- No papel de Colaborador, eles sincronizaram seus movimentos perfeitamente com o humano.
O "Superpoder": A descoberta mais interessante foi a eficiência de amostragem. Quando tentaram ensinar aos robôs treinados com HABIT uma nova tarefa que eles não tinham visto antes, eles aprenderam muito mais rápido (usando menos exemplos) do que os robôs treinados com os dados antigos. É como se o HABIT tivesse ensinado ao robô o conceito de "ser educado e consciente", o que tornou o aprendizado de tarefas específicas muito mais fácil.

A Conclusão

O artigo argumenta que, para os robôs serem úteis em nossas casas e escritórios, eles não podem ser apenas fortes e precisos; eles precisam ser socialmente conscientes. Ao treinar robôs com dados onde humanos estão realmente presentes e interagindo, obtemos robôs que não apenas trabalham ao redor de nós, mas trabalham conosco.

Limitações: Os autores admitem que isso foi feito em um laboratório controlado com um tipo específico de robô e um número limitado de operadores humanos. Embora tenham variado as roupas e tipos de corpo dos humanos para testar a adaptabilidade, ambientes do mundo real são mais caóticos do que o setup deles. No entanto, a mensagem central permanece: robôs precisam ver humanos para aprenderem a ser bons parceiros.

Resumo Técnico: HABIT – Conjunto de Dados de Treinamento de Comportamento e Interação Humano-Consciente

1. Definição do Problema

O progresso recente na manipulação de robôs de propósito geral tem sido impulsionado por conjuntos de dados de demonstração em larga escala. No entanto, existe uma lacuna crítica: os conjuntos de dados existentes são predominantemente coletados em ambientes sem presença humana, onde o robô atua como o único agente. Consequentemente, políticas treinadas nesses dados, embora competentes isoladamente, falham em exibir comportamentos conscientes do humano necessários para ambientes compartilhados (ex: residências, fábricas).

Especificamente, os robôs não conseguem aprender a:

Ceder (Yield) para evitar colisões quando um humano entra em seu caminho.
Sincronizar-se temporal e espacialmente ao manipular objetos conjuntamente.
Fundamentar gestos (Ground gestures) para interpretar a intenção humana sem instruções de linguagem explícitas.

Esses comportamentos estão ausentes não porque sejam difíceis de aprender, mas porque não podem ser demonstrados sem um humano presente na cena. Este artigo aborda a necessidade de um conjunto de dados que capture explicitamente a dinâmica de interação humano-robô (HRI).

2. Metodologia: O Conjunto de Dados HABIT

2.1 Design de Tarefas e Papéis

O conjunto de dados organiza 60 tarefas distintas em três papéis de interação, definidos pela dependência entre o humano e o robô:

Colaborador (Collaborator): O humano e o robô realizam conjuntamente um objetivo compartilhado através de interação física direta (ex: entregar ferramentas, segurar objetos juntos). Isso requer sincronização espaciotemporal rigorosa.
Colega de Trabalho (Coworker): O humano e o robô buscam tarefas separadas dentro de um espaço de trabalho compartilhado sem contato físico direto. O desafio principal é a evasão de colisões e a cedência de passagem.
Supervisor: O humano direciona o robô via pistas explícitas (ex: gestos, apontar) enquanto o robô infere a intenção apenas através da entrada visual.

2.2 Protocolo de Coleta de Dados

Para garantir que os dados capturem comportamentos conscientes do humano passíveis de aprendizado, os autores implementaram protocolos de coleta específicos:

Interação Reativa: Operadores (tanto humanos quanto robôs) são proibidos de pré-executar subtarefas baseadas em memória. Eles devem agir apenas após observar diretamente o comportamento de seu parceiro. Isso garante que as pistas que disparam as ações do robô sejam visíveis nas observações registradas.
Elicitação de Comportamento:
- Cedência Priorizando a Segurança: Operadores de robôs são instruídos a retrair os braços decisivamente se uma colisão for iminente, registrando a cedência como a resposta padrão.
- Adaptação Temporal: As velocidades de movimento humano são variadas para evitar que o robô aprenda um ritmo fixo.
- Fundamentação de Gestos: Operadores humanos amostram tempos de espera antes de apontar, forçando a política a atender ao gesto em vez de agir prematuramente com base em instruções de linguagem.
Diversificação: As condições são variadas entre episódios (cores de roupas, ordem de objetos) e entre operadores (diferentes tipos físicos) para suportar a generalização fora da distribuição (OOD).

2.3 Hardware e Configuração

Robôs: Dois braços Franka Research 3 com garras Robotiq, teleoperados via controles Meta Quest 3.
Sensores: Cinco câmeras RGB sincronizadas:
- Três do lado do robô (visões de pulso e uma visão egocêntrica capturando o humano e o espaço de trabalho).
- Duas do lado do humano (visão egocêntrica do humano e uma visão exocêntrica do espaço de trabalho completo).
Escala: O conjunto de dados compreende 10.563 episódios, totalizando 164,19 horas de manipulação bimanual.

3. Estrutura de Avaliação

Os autores avaliam as políticas usando um subconjunto de 6 tarefas representativas (2 por papel). O sucesso é definido por três critérios binários para cada subtarefa do robô:

Manipulação: Execução física correta e estado do objeto.
Conformidade de Fluxo de Trabalho: Adesão ao fluxo de trabalho da tarefa, incluindo ordem, sincronização e seguimento de pistas.
Segurança Humana: Sem colisões ou contato com objetos segurados pelo humano.

A métrica primária é a Taxa de Sucesso sobre tentativas independentes.

4. Resultados Principais

4.1 Taxas de Sucesso de Tarefas

Os autores realizaram o ajuste fino (fine-tuning) de dois modelos de Visão-Linguagem-Ação (VLA) de código aberto, $\pi_0.5$ e GR00T N1.6, no HABIT e os compararam contra um baseline Apenas-Robô (coletado sem um humano presente).

Tarefas de Colaborador: Baselines apenas-robô não são aplicáveis (N/A), pois estas tarefas exigem inerentemente um parceiro humano.
Tarefas de Colega de Trabalho: Modelos treinados com HABIT mostraram os maiores ganhos (ex: $\pi_0.5$ melhorou de 40% para 95% em Classificação de Resíduos). Isso destaca a necessidade de aprender a cedência reativa para resolver conflitos de trajetória.
Tarefas de Supervisor: O HABIT proporcionou ganhos significativos em tarefas complexas que exigem fundamentação de gestos (ex: Armazenamento de Alimentos), onde a linguagem sozinha era insuficiente para desambiguar alvos. Em tarefas mais simples (Servir Donut), o desempenho foi comparável ao modelo Apenas-Robô.

4.2 Comportamentos Conscientes do Humano Emergentes

O treinamento no HABIT eliciou comportamentos específicos ausentes nos modelos Apenas-Robô:

Sincronização Espaciotemporal: Em tarefas de Colaborador, os modelos aprenderam a esperar por pistas humanas antes de agir.
Cedência Proativa: Em tarefas de Colega de Trabalho, os modelos evitaram colisões com sucesso ao retrair-se quando os humanos se aproximavam.
Fundamentação de Gestos: Em tarefas de Supervisor, os modelos aprenderam a interpretar gestos de apontar para identificar alvos.

4.3 Análise de Falhas

O estudo identificou modos de falha específicos de cada papel em modelos Apenas-Robô:

Colaborador: Violações de precondição (agir antes do humano estar pronto).
Colega de Trabalho: Colisões devido à falta de cedência.
Supervisor: Falha em seguir gestos.
Modelos treinados com HABIT reduziram substancialmente essas taxas de falha específicas em ambas as arquiteturas.

4.4 Adaptação Eficiente de Amostras

Os autores demonstraram que o treinamento intermediário (mid-training) de um VLA no HABIT permite uma rápida adaptação a novas tarefas de HRI.

Ao realizar o ajuste fino em tarefas de downstream com dados limitados (50–200 demonstrações), os modelos pré-treinados no HABIT superaram os modelos treinados diretamente nos dados de downstream.
Por exemplo, na Classificação de Resíduos, o mid-training com HABIT usando 50 demonstrações igualou o desempenho do ajuste fino direto com 200 demonstrações.

5. Significância e Alegações

O artigo posiciona o HABIT como um degrau para modelos de fundação de robótica que não são apenas capazes, mas genuinamente seguros e socialmente compatíveis em ambientes habitados por humanos.

Novo Eixo de Diversidade: Os autores alegam que introduzir a "presença humana" como uma dimensão de diversidade de dados é crítico. Eles argumentam que os pipelines padrão de aprendizado de robôs, que dependem de dados sem presença humana, perdem o sinal necessário para a coexistência segura.
Generalização: Os resultados sugerem que comportamentos conscientes do humano (ceder, sincronizar, fundamentar gestos) são aprendíveis a partir de dados e transferíveis entre diferentes arquiteturas VLA.
Modéstia: Os autores reconhecem limitações, observando que o conjunto de dados é coletado em um único ambiente com uma configuração humano-robô um-para-um. Eles não alegam que o HABIT resolve todos os problemas de múltiplos agentes ou dinâmicas sociais complexas, mas afirmam que ele fornece uma fundação necessária para aprender comportamentos básicos de copresença.

Em conclusão, o HABIT demonstra que o treinamento em dados com presença humana gera políticas que não são apenas mais bem-sucedidas em espaços compartilhados, mas também exibem comportamentos sociais emergentes que não podem ser derivados de demonstrações apenas de robôs.