Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

Título: Qual Modelo de Reconstrução um Robô Deve Usar? Roteamento de Modelos Imagem-para-3D para Manipulação Robótica Consciente de Custos

1. O Problema

A manipulação robótica exige reconstruções de malha 3D de qualidade variável:

• Manipulação destreza (ex: pegar objetos frágeis) demanda detalhes de superfície finos.
• Planejamento de colisão tolera representações mais grosseiras.

Existem múltiplos métodos de reconstrução (modelos Image-to-3D baseados em visão única e métodos invariantes à vista como varredura estruturada), cada um com diferentes compensações entre qualidade e custo (latência, memória, hardware).

• Desafio: Nenhum modelo único domina todos os cenários. A performance de modelos Image-to-3D varia drasticamente dependendo do ângulo de entrada (vista frontal vs. vista de canto) e da categoria do objeto.
• Limitação Atual: Trabalhos anteriores fixam um único modelo de reconstrução para todas as entradas, ignorando ganhos potenciais de seleção dinâmica. Além disso, consultar todos os modelos para cada entrada é computacionalmente proibitivo.
• Complexidade Adicional: Robôs frequentemente têm apenas uma vista inicial e não podem adquirir novas vistas facilmente. Métodos invariantes à vista (ex: scanners) dependem da configuração de hardware e não da vista inicial, mas exigem tempo de sensoriamento extra.

O objetivo é desenvolver um mecanismo de roteamento que selecione o modelo de reconstrução ideal para uma dada imagem de entrada, considerando restrições de custo arbitrárias (latência, memória, etc.) sem necessidade de retreinamento quando novos modelos ou configurações são adicionados.

2. Metodologia: SCOUT

Os autores propõem o SCOUT (Score-Conditioned Optimal Utility Targeting), um framework de roteamento inovador que resolve o problema através da desacoplamento das pontuações de reconstrução.

A. Formulação do Problema
Dado um conjunto de modelos $M$ e uma imagem de entrada $x$, o roteador deve escolher o modelo $m^*$ que maximiza:
$$s(x, m) - c(m)$$
Onde $s$ é a pontuação de qualidade (reconstrução) e $c$ é o custo. Diferente de roteadores de LLMs que usam um único escalar de trade-off, o SCOUT suporta vetores de coeficientes de custo arbitrários ($c \in \mathbb{R}^k$).

B. Desacoplamento de Pontuações
O SCOUT divide a pontuação de reconstrução em dois componentes:

1. Desempenho Relativo (Modelos Dependentes da Vista): Capturado por uma distribuição de probabilidade aprendida $\hat{p}$. Isso representa qual modelo funciona melhor relativamente aos outros para uma dada imagem.
2. Dificuldade Global da Imagem: Capturada por uma estimativa escalar da função de partição $\hat{z}$. Isso representa quão difícil é a imagem em geral (ex: uma vista frontal de um objeto liso é difícil para todos os modelos).

C. Arquitetura e Treinamento

• Rede Aprendida ($\hat{p}$): Um modelo neural (MLP) que mapeia a imagem para uma distribuição de probabilidade sobre os modelos dependentes da vista (Image-to-3D). Ele é treinado para minimizar a divergência KL entre a distribuição predita e a distribuição real dos modelos.
  • Vantagem: Como a rede só prevê sobre modelos dependentes da vista, novos métodos invariantes à vista (como scanners) podem ser adicionados ou removidos sem retreinar a rede.
• Estimativa de Função de Partição ($\hat{z}$): Um segundo modelo supervisionado (regressão Ridge) que estima o termo de deslocamento escalar necessário para recuperar as pontuações absolutas a partir das probabilidades relativas.
  • Inovação: Os autores derivam um proxy ponderado para $\hat{z}$, combinando estimativas de cada modelo dependente da vista com pesos ótimos baseados na variância e no erro de previsão, permitindo recuperar pontuações absolutas precisas.
• Otimização de Utilidade: Na inferência, o sistema calcula a utilidade estimada para todos os modelos (dependentes e invariantes) usando $\hat{p}$, $\hat{z}$ e o vetor de custo fornecido, selecionando o modelo com maior utilidade.

3. Contribuições Principais

1. Primeira Formulação de Roteamento para Reconstrução 3D: Adaptação do conceito de roteamento (comum em LLMs) para o domínio de 3D, lidando com a distinção crítica entre métodos dependentes e invariantes à vista.
2. Justificativa Teórica e Desacoplamento: Introdução de um proxy de função de partição que recupera pontuações absolutas a partir de distribuições relativas, permitindo que métodos invariantes à vista sejam integrados sem retreinamento.
3. Flexibilidade de Custo: Suporte a vetores de custo arbitrários em tempo de inferência, adaptando-se a restrições multidimensionais comuns em robótica (ex: "priorizar memória" vs. "priorizar latência").
4. Validação Robótica: Demonstração de que a seleção de modelo baseada em roteamento melhora diretamente tarefas de manipulação no mundo real e em simulação.

4. Resultados Experimentais

O SCOUT foi avaliado em três conjuntos de dados (Google Scanned Objects, BigBIRD, YCB) e em tarefas robóticas reais.

• Desempenho de Roteamento:
  • O SCOUT superou consistentemente todas as linhas de base (incluindo adaptações de roteadores de LLMs como ZOOTER, RouterDC, MLP, kNN e Regressão Linear) em múltiplos subespaços de custo.
  • Redução significativa no arrependimento (regret) em comparação com a seleção de modelo agnóstica à entrada.
  • O desacoplamento provou ser crucial: métodos que não desacoplam (como ZOOTER estendido) sofrem degradação de desempenho à medida que mais métodos invariantes à vista são adicionados.
• Métricas de Qualidade:
  • Melhor desempenho em métricas como Chamfer Distance (DCD), IoU e métricas geométricas do Eval3D.
  • Robustez em diferentes condições de iluminação e vistas degeneradas (ex: vistas frontais).
• Experimentos Robóticos:
  • Propostas de Pegada (Grasp): O SCOUT reduziu a taxa de colisão e aumentou a IoU da malha em comparação com o uso de um único modelo fixo.
  • Manipulação Destreza: Em simulação, a seleção dinâmica melhorou a taxa de sucesso de pegadas complexas, onde a precisão da superfície é crítica.
  • Pick-and-Place Real: Em um robô Franka Panda, o SCOUT selecionou corretamente o modelo Hunyuan3D (alta qualidade, alta latência) para vistas difíceis e TRELLIS (baixa latência) para vistas fáceis, resultando na maior taxa de sucesso geral (4.6/5) em comparação com qualquer modelo individual.

5. Significado e Impacto

Este trabalho estabelece um novo paradigma para a percepção robótica baseada em visão única. Ao tratar a seleção de modelos de reconstrução 3D como um problema de roteamento inteligente e desacoplado, o SCOUT permite que robôs:

• Adaptem-se dinamicamente a restrições de hardware e tempo de execução.
• Integrem novos sensores (como scanners a laser) sem a necessidade de retreinar redes neurais complexas.
• Melhorem a confiabilidade de tarefas de manipulação ao escolher a ferramenta de percepção mais adequada para cada situação específica.

O código e os resultados adicionais foram disponibilizados pelos autores, facilitando a reprodução e a adoção por outras comunidades de pesquisa em robótica e visão computacional.