Resumo Técnico: Representações de Imagem Estruturadas para Aprendizado Robótico Explicável (SIR)

Declaração do Problema

As políticas robóticas existentes baseadas em embeddings visuais aprendidos carecem de uma estrutura explícita e são sensíveis a distrações visuais. Embora esses embeddings forneçam codificações compactas de informações visuais, eles permanecem opacos, tornando o processo de tomada de decisão difícil de interpretar. Além disso, à medida que agentes robóticos no mundo real operam em ambientes complexos com numerosos objetos observados, há uma necessidade crescente de representações de cena estruturadas e expressivas que facilitem tanto o desempenho quanto a explicabilidade no Aprendizado de Imitação Condicionado por Objetivo (GCIL). As abordagens atuais frequentemente dependem de características visuais não estruturadas ou exigem algoritmos de planejamento complexos, limitando sua aplicabilidade ao aprendizado passo a passo sem pontos-chave explícitos.

Metodologia: Representações de Imagem Estruturadas (SIR)

Os autores propõem as Representações de Imagem Estruturadas (SIR), um framework que utiliza Grafos de Cena (SGs) como uma representação intermediária para o aprendizado de política robótica. Diferente dos métodos de explicabilidade post-hoc, o SIR é intrinsecamente explicável porque o grafo esparso serve como um estado intermediário aprendido durante a geração de ações.

A arquitetura consiste em quatro componentes principais:

1. Geração de Grafo de Cena:

   • O sistema constrói um Grafo Totalmente Conectado (FC-Graph) inicial, onde os nós representam objetos detectados na cena (via segmentação de máscara de verdade fundamental ou prevista).
   • As representações iniciais dos nós são derivadas de diversas modalidades de imagem, incluindo:
     • Rótulo (Label): Rótulos de objetos codificados em one-hot.
     • Recorte de Imagem (Cropped-Image-Feature): Embeddings visuais de redes pré-treinadas (ex: ResNet18) aplicados a recortes das caixas delimitadoras dos objetos.
     • Coordenadas de Bounding Box (BB-Coordinates): Coordenadas 2D normalizadas de caixas delimitadoras.
     • Característica de Nuvem de Pontos (Point-Cloud-Feature): Embeddings de redes pré-treinadas (ex: PointNet) aplicados às nuvens de pontos dos objetos.
   • As características das arestas são inicializadas com base em distâncias geométricas ou definidas como 1.

2. Esparsecimento de Grafo Aprendível:

   • Um módulo treinável, denominado FiLMDecoder (um Decodificador Transformer de duas camadas com Normalização de Camada Adaptativa condicionada a objetivos de linguagem), prevê uma pontuação para cada nó.
   • O sistema emprega seleção de nós fundamentada em instrução para reter apenas os $k$ nós com as maiores pontuações, criando um subgrafo mínimo e relevante para a tarefa.
   • Para garantir que o esparsecimento seja aprendível e diferenciável, os autores introduzem:
     • Um perda de histograma suave (soft histogram loss) para incentivar a distribuição uniforme das pontuações dos nós e evitar o colapso.
     • Uma perda L1 nos pesos dos nós para guiar a seleção de nós relevantes à instrução.
     • Um mecanismo onde os pesos dos nós ($NW$) são incorporados aos pesos das arestas e ao passo de pooling. Isso garante que a informação de nós "removidos" não se propague para o embedding final do grafo, tornando o esparsecimento verdadeiramente end-to-end.

3. Geração de Embedding de Grafo de Cena:

   • O subgrafo esparso é processado por uma Rede de Atenção de Grafo (GATv2) de duas camadas com conexões residuais.
   • Uma camada de pooling de média global agrega as características dos nós retidos para produzir a representação final da cena (embedding do grafo).

4. Geração de Ação:

   • O embedding do grafo resultante, combinado com um objetivo de linguagem incorporado (via CLIP), serve como a entrada de estado para geradores de ação subsequentes. Os autores avaliam dois geradores: o Transformer de Difusão Multimodal (MDT) e um Transformer de Clonagem de Comportamento (BC-Transformer).

Principais Contribuições

1. Investigação de SGs em GCIL: O artigo fornece uma investigação minuciosa sobre o uso de Grafos de Cena como representações de estado diretas para aprendizado robótico, analisando sistematicamente quais modalidades de imagem (simbólica, geométrica, visual) servem como características iniciais de nós eficazes.
2. Esparsecimento Aprendível: Os autores propõem um novo método para o esparsecimento de SG end-to-end e aprendível. Isso cria um subgrafo esparso que atua como uma explicação direta do processo de tomada de decisão do modelo, revelando quais objetos e interações são considerados críticos.
3. Explicabilidade Intrínseca: Ao analisar os desvios entre os subgrafos aprendidos e as expectativas humanas (ex: inclusão de distratores ou omissão de objetos chave), o método permite a detecção de vieses do conjunto de dados, como correlações espúrias e vieses posicionais.

Resultados Experimentais

O método foi avaliado nos benchmarks RoboCasa e CALVIN usando 100 execuções por configuração.

• Desempenho: No RoboCasa, o SIR alcançou uma taxa de sucesso média de 19,5%, superando as baselines baseadas em imagem (14,81%) e modelos de grafo totalmente conectados sem esparsecimento (16,98%).
• Integração de Modalidades: Modelos baseados em grafos demonstraram capacidade superior de integrar diversas modalidades. Por exemplo, enquanto as baselines de apenas nuvem de pontos performaram mal (4,13%), os modelos baseados em grafos utilizando características de nuvem de pontos alcançaram taxas de sucesso significativamente maiores (11,08% a 15,04%).
• Robustez a Distratores: Quando novos objetos distratores foram introduzidos durante a inferência, as baselines baseadas em imagem sofreram uma queda de desempenho de ~3,3%. Em contraste, o SIR e outros modelos baseados em grafos mostraram quase nenhuma degradação de desempenho, demonstrando alta robustez a distrações visuais.
• Estudos de Ablação: O estudo confirmou que o esparsecimento fundamentado em instrução com perda de histograma suave produz o melhor desempenho em comparação com a remoção aleatória, remoção ingênua ou métodos baseados em limiar.

Significância e Alegações

O artigo afirma que o SIR oferece um avanço significativo no aprendizado robótico explicável ao ir além de embeddings visuais opacos para representações relacionais estruturadas.

• Intrínseco vs. Post-hoc: Os autores enfatizam que o SIR não é um método de explicação post-hoc (como usar um VLM para filtrar objetos após o treinamento). Em vez disso, o grafo esparso é uma representação intermediária aprendida. Isso permite que o modelo revele sua lógica real de tomada de decisão, incluindo potenciais falhas.
• Detecção de Viés: Uma descoberta crítica é que a análise dos subgrafos aprendidos pode revelar vieses do conjunto de dados. Por exemplo, os autores observaram que, em certas tarefas, o modelo executava ações com sucesso ao ignorar o objeto alvo e confiar apenas no estado do próprio robô (viés posicional), ou ao explorar correlações espúrias com objetos de fundo irrelevantes.
• Interpretabilidade: A capacidade de visualizar os subgrafos de "explicação da tarefa" fornece insight direto sobre se o modelo está tendo sucesso pelos motivos certos ou explorando atalhos nos dados de treinamento.

Os autores concluem que, embora o SIR melhore o desempenho e a robustez, sua contribuição mais valiosa é a capacidade de usar os grafos esparsos aprendidos como uma ferramenta de depuração tanto para o comportamento do modelo quanto para a qualidade do conjunto de dados.