Compose by Focus: Scene Graph-based Atomic Skills

Este artigo apresenta o "Compose by Focus", um framework que utiliza representações de grafos de cena para aprender habilidades atômicas robustas e combiná-las com um planejador baseado em modelos de linguagem e visão, permitindo que robôs generalistas executem tarefas complexas de longo horizonte com maior sucesso e generalização composicional.

O essencial

Imagine que você está ensinando um robô a cozinhar um jantar complexo. O desafio não é apenas ensinar o robô a "cortar a cenoura" ou "fritar o ovo" individualmente. O verdadeiro teste de inteligência é fazer com que ele consiga combinar essas ações simples para preparar um prato completo, mesmo que a cozinha esteja bagunçada, cheia de panelas, frutas e objetos que não têm nada a ver com a receita.

O artigo que você apresentou, "Compose by Focus" (Compor pelo Foco), propõe uma solução brilhante para esse problema, usando uma ideia que chamamos de "Grafo de Cena".

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O Robô que se Perde na Bagunça

Imagine que você treinou um robô para pegar uma única maçã em uma mesa limpa e branca. Ele aprendeu perfeitamente. Agora, coloque 50 objetos diferentes na mesa (brinquedos, livros, outras frutas) e peça para ele pegar a maçã.

• O que acontece com os robôs comuns? Eles ficam confusos. Como foram treinados apenas com a "foto" completa da mesa (pixels brutos), quando o cenário muda, eles não sabem mais o que é importante. É como se você tentasse dirigir um carro olhando para o painel inteiro em vez de focar na estrada. Eles tentam interagir com tudo e falham.
• A falha: Eles não conseguem "compor" habilidades. Saber pegar uma maçã não significa saber pegar uma maçã em uma mesa cheia de coisas.

2. A Solução: O "Grafo de Cena" (O Mapa do Tesouro)

Os autores propõem que, em vez de mostrar ao robô a foto inteira da cozinha (cheia de ruído), devemos mostrar a ele um mapa simplificado e inteligente.

Pense no Grafo de Cena como um mapa de tesouro ou uma lista de compras focada:

• Em vez de ver "mil pixels de cor", o robô vê nós (pontos importantes) e conexões (setas entre eles).
• Nós: São apenas os objetos relevantes. Se a tarefa é "pegar a cenoura", o robô só "vê" a mão do robô, a cenoura e a cesta. Ele ignora completamente o abacate e o livro que estão na mesa.
• Conexões (Arestas): São as relações entre eles. "A cenoura está dentro da cesta" ou "O robô está perto da cenoura".

A Analogia do Foco:
Imagine que você está em uma festa barulhenta e precisa conversar com um amigo.

• Robô comum: Tenta ouvir tudo o que todos estão falando ao mesmo tempo. Ele fica sobrecarregado e não entende nada.
• Robô com "Compose by Focus": Usa um fone de ouvido com cancelamento de ruído que isola apenas a voz do seu amigo. Ele ignora o barulho da festa (os objetos irrelevantes) e foca apenas na conversa necessária.

3. Como Funciona na Prática?

O sistema funciona em três etapas mágicas:

1. O "Olho" Inteligente (VLM e Grounded-SAM): O robô usa uma IA avançada (como o ChatGPT ou modelos de visão) para olhar a cena e dizer: "Ok, para pegar a cenoura, eu só preciso olhar para a mão, a cenoura e a cesta. Ignore o resto." Ele cria esse mapa simplificado automaticamente.
2. O "Cérebro" de Conexões (GNN): O robô usa uma rede neural especial (GNN) que entende como os pontos desse mapa se conectam. Ele aprende que "se a mão está perto da cenoura, eu devo fechar a garra".
3. O "Músculo" Suave (Diffusion Policy): Finalmente, o robô usa uma técnica chamada "Imitação por Difusão". É como se ele estivesse aprendendo a dançar. Ele começa com movimentos aleatórios e vai "refinando" o movimento até ficar perfeito, guiado pelo mapa simplificado que ele criou.

4. O Resultado: Robôs que Pensam como Humanos

Os testes mostraram que essa abordagem é incrível:

• No Simulado: Enquanto outros robôs falhavam miseravelmente quando colocavam vários objetos na mesa, o robô com "Grafo de Cena" continuava acertando quase 100% das vezes.
• No Mundo Real: Em um experimento real de "pegar vegetais", o robô conseguiu pegar várias cenouras, milho e berinjelas e colocá-los na cesta, mesmo com objetos bagunçados na mesa. Os robôs antigos travavam ou pegavam o objeto errado.

Resumo da Ópera

A grande inovação deste trabalho é mudar a pergunta de "Como fazemos o robô ver tudo?" para "Como fazemos o robô ver apenas o que importa?".

Ao transformar a visão do robô em um mapa de conexões focado (Grafo de Cena), eles permitem que o robô combine habilidades simples (como pegar e colocar) para resolver tarefas longas e complexas, sem se perder na bagunça. É como dar ao robô a capacidade de focar, exatamente como um humano faria em uma situação nova.

Resumo técnico

Resumo Técnico: Compose by Focus – Habilidades Atômicas Baseadas em Gráficos de Cena

1. O Problema

A robótica geral exige generalização composicional: a capacidade de combinar habilidades atômicas (primitivas de manipulação) para resolver tarefas complexas e de longo horizonte.

• Desafio Principal: Embora trabalhos anteriores tenham focado em sintetizar planejadores de alto nível (como VLMs ou TAMPs) para sequenciar habilidades pré-aprendidas, a execução robusta das próprias habilidades individuais permanece um gargalo.
• Causa da Falha: Políticas visuomotoras treinadas em ambientes simples (ex: um único objeto em uma mesa limpa) frequentemente falham em cenários desordenados ("cluttered") devido a mudanças de distribuição (distribution shifts). O processamento visual bruto (imagens 2D ou nuvens de pontos 3D completas) é sensível a "distratores" (objetos irrelevantes), tornando as políticas frágeis quando compostas em tarefas longas.
• Hipótese: Para que habilidades sejam composicionais, elas devem ser focadas, atendendo apenas aos elementos da cena relevantes para a tarefa específica, ignorando ruídos visuais.

2. Metodologia

O artigo propõe um framework que transforma dados visuais brutos em Gráficos de Cena Semânticos Dinâmicos (Scene Graphs) como entrada para o aprendizado de políticas.

A. Representação de Dados: Gráficos de Cena

Em vez de usar imagens RGB ou nuvens de pontos brutas, o sistema constrói um gráfico estruturado:

• Nós: Representam objetos relevantes (ex: garra do robô, objeto alvo, alvo final, obstáculos). Cada nó codifica geometria 3D e características semânticas.
• Arestas: Capturam relações dinâmicas entre objetos (ex: "agarrar", "ao lado de", "dentro de", "evitar"), inferidas a partir de pistas multimodais.
• Construção: Utiliza-se modelos fundamentais de visão (como Grounded-SAM) para segmentação de objetos e Modelos de Linguagem Visual (VLMs, como ChatGPT) para inferir relações semânticas. Isso gera sub-gráficos concisos focados apenas na tarefa atual.

B. Aprendizado de Política (Treinamento)

O framework integra redes neurais de grafos com aprendizado por imitação baseado em difusão:

1. Codificação: Um GNN (Graph Attention Network - GAT) processa o gráfico de cena para extrair embeddings de características estruturais.
2. Descrição da Tarefa: A descrição textual da habilidade é codificada usando o CLIP.
3. Política Visuomotora: Utiliza-se um modelo de Difusão Condicionada (Diffusion Policy). A política é treinada para denoising de ações, condicionada a:
   • Características do gráfico de cena ($F$).
   • Características da descrição da habilidade ($P$).
   • Pose do robô ($Q$).
4. Dados: O treinamento ocorre apenas com demonstrações de habilidades atômicas isoladas (nunca composições complexas), permitindo que a política aprenda a focar no essencial.

C. Composição em Tempo de Teste

Para tarefas de longo horizonte:

1. Um planejador de alto nível (VLM) decompõe a tarefa complexa em sub-objetivos.
2. Para cada sub-objetivo, um sub-gráfico de cena dinâmico é construído contendo apenas os objetos e relações relevantes para aquela etapa específica.
3. A política treinada executa a ação baseada nesse sub-gráfico focado, ignorando distratores no ambiente.

3. Principais Contribuições

1. Codificação Estruturada: Propõe o uso de gráficos de cena como entradas gerais e interpretáveis para aprendizado de políticas baseado em behavior cloning, construídos com ajuda de VLMs e modelos de visão fundamentais.
2. Integração Difusão-GNN: Integra essa representação com aprendizado por imitação baseado em difusão, demonstrando melhorias substanciais sobre o estado da arte em benchmarks de composição de habilidades.
3. Robustez e Generalização: O método demonstra alta robustez a perturbações visuais e generalização composicional zero-shot, tanto em simulação quanto no mundo real, superando a necessidade de demonstrações exponenciais de tarefas longas.

4. Resultados Experimentais

A. Simulação (ManiSkill2)

Foram testadas 5 tarefas de longo horizonte (ex: empilhar blocos com lógica, uso de ferramentas, evitar obstáculos).

• Desempenho em Habilidades Únicas: Todos os métodos (incluindo baselines como Diffusion Policy e $\pi_0$) tiveram bom desempenho em tarefas atômicas isoladas.
• Desempenho em Composição:
  • Baselines: Sofreram degradação severa (queda de 50-70% na taxa de sucesso) ao tentar compor habilidades em cenas complexas. O modelo $\pi_0$, apesar de pré-treinado em larga escala, falhou em generalizar para composições não vistas.
  • Método Proposto (Scene Graph): Alcançou taxas de sucesso consistentemente altas (ex: 0.78 a 0.93 em várias tarefas), mantendo a robustez mesmo com mudanças de cenário e objetos distratores.

B. Mundo Real

Testes realizados em duas tarefas: Coleta de Vegetais e Uso de Ferramentas.

• Coleta de Vegetais: Em um cenário desordenado com múltiplos vegetais e distratores, o método proposto alcançou 97% de sucesso na composição da tarefa, enquanto o melhor baseline ($\pi_0$) teve apenas 5% e políticas de difusão padrão falharam completamente (0%).
• Uso de Ferramentas: O método conseguiu compor ações de "puxar" e "empurrar" com diferentes ferramentas, evitando obstáculos não vistos durante o treinamento (ex: trocar de um bastão por tijolos), alcançando 90% de sucesso contra 7.5% do baseline $\pi_0$.

C. Estudos de Ablação

• Importância do 3D: Representações 2D (apenas imagens) performaram pior que as 3D.
• Importância do Gráfico: Representações de nuvem de pontos concatenadas (sem estrutura de grafo) falharam em lidar com contagens variáveis de objetos e relações espaciais.
• Importância do GNN: O uso de GNN para processar as relações foi crucial; concatenar nós sem considerar arestas levou a falhas sob permutação de objetos.

5. Significado e Conclusão

O trabalho demonstra que a generalização composicional em robótica não depende apenas de melhores planejadores de alto nível, mas fundamentalmente de como as habilidades de baixo nível são representadas e aprendidas.

• Eficiência de Dados: Ao focar em contextos relevantes via gráficos de cena, o método elimina a necessidade de coletar demonstrações para todas as permutações possíveis de tarefas longas (que crescem exponencialmente).
• Interface Natural: Os gráficos de cena servem como uma interface unificada entre o raciocínio simbólico de alto nível (VLMs) e a execução visuomotora de baixo nível (Difusão).
• Impacto: Este é um passo significativo para a criação de robôs "generalistas" capazes de operar em ambientes do mundo real, desordenados e dinâmicos, superando a fragilidade das abordagens baseadas em pixels brutos.

Limitações: O método depende da precisão de modelos fundamentais (Grounded-SAM para segmentação e VLMs para inferência de relações), o que pode introduzir overhead computacional e erros de segmentação, embora o uso de sub-gráficos pequenos mitigue o custo computacional.