OSMa-Bench++: Toward Open-Ended Benchmarking of Semantic Mapping for Manipulation with Prompt-Generated Synthetic Scenes

Resumo Técnico do OSMa-Bench++

Declaração do Problema
Os métodos de mapeamento semântico são cada vez mais utilizados como representações intermediárias de cena para raciocínio e manipulação robótica a jusante. No entanto, os atuais frameworks de avaliação estão amplamente restritos a conjuntos de dados de referência fixos que não cobrem adequadamente casos extremos relevantes para manipulação, como objetos pequenos em desordem, oclusões parciais e acesso restrito a objetos-alvo. Embora métodos recentes de representação de cena baseados em vocabulário aberto e centrados em objetos (por exemplo, OpenScene, OpenMask3D, ConceptGraphs, BBQ) tenham melhorado a expressividade, sua avaliação permanece limitada por coleções de cenas fechadas. Além disso, a avaliação padrão frequentemente depende de observações dependentes da visão, tornando difícil avaliar de forma robusta a completude do grafo de cena em relação a contagens de objetos e relações inter-objetos quando objetos relevantes estão ocluídos ou não são observáveis conjuntamente a partir de uma trajetória de câmera específica.

Metodologia
Os autores propõem o OSMa-Bench++, uma extensão do OSMa-Bench original que introduz um pipeline controlável e orientado por prompts para a geração de cenas sintéticas de interiores adaptadas para avaliação orientada à manipulação. O fluxo de trabalho consiste em quatro etapas principais:

1. Geração e Filtragem de Prompts: Um Modelo de Linguagem de Grande Escala (LLM) gera um conjunto inicial de prompts candidatos descrevendo cenas de interiores com disposições de objetos e relações relevantes para manipulação. Esses prompts são incorporados em um espaço de características semânticas. Usando similaridade de cosseno, prompts quase duplicados são removidos e um subconjunto diversificado é selecionado para garantir ampla cobertura de layouts e cenários de interação.
2. Síntese e Conversão de Cenas: Os prompts selecionados são usados para sintetizar ambientes de interiores usando o SceneSmith. Como as saídas do SceneSmith estão no formato de simulação Drake, uma camada intermediária não trivial é implementada para converter esses ativos em um formato compatível com Habitat. Essa adaptação envolve normalização semântica, reparo de materiais e texturas, políticas de fallback de shaders, tratamento de pisos, configuração de navegação e configuração controlada de iluminação.
3. Geração de Sequências de Dados: As cenas convertidas são processadas pelo gerador HaDaGe para produzir sequências de observação RGB-D ao longo de trajetórias de câmera, espelhando o processo de geração de dados do OSMa-Bench original.
4. Protocolo de Avaliação: As sequências geradas são processadas por abordagens de mapeamento semântico (especificamente ConceptGraphs e BBQ nos experimentos). A avaliação ocorre por meio de duas métricas:
   • Precisão de Segmentação: Métricas padrão de segmentação.
   • VQA Fundamentada em Prompt: Um componente de avaliação novel onde o prompt original de geração de cena serve como especificação semântica auxiliar. Isso permite a geração de perguntas sobre contagens de objetos e relações que são independentes da visibilidade dependente de trajetória. Este protocolo "Fundamentado em Prompt" (PromptGT) visa especificamente as categorias Medições e Relações, que são tipicamente instáveis na VQA dependente de visão padrão.

Principais Contribuições

• Pipeline de Benchmarking Controlável: O artigo introduz um pipeline totalmente automatizado que estende o OSMa-Bench para incluir cenas sintéticas geradas por prompts, permitindo testes de estresse direcionados de representações semânticas sob condições específicas (por exemplo, desordem, variações de iluminação, objetos pequenos).
• Avaliação Fundamentada em Prompt: Uma contribuição metodológica significativa é o uso do prompt de geração como fonte de verdade fundamental para resposta a perguntas. Isso desacopla a avaliação da completude do grafo de cena (especificamente contagens de objetos e relações espaciais) das limitações da visibilidade da trajetória da câmera.
• Camada de Adaptação: O trabalho detalha os desafios técnicos e soluções necessários para fechar a lacuna entre o SceneSmith (Drake) e a simulação baseada em Habitat, incluindo reparo de ativos e normalização semântica.

Resultados Experimentais
O framework foi avaliado em um conjunto de dados de 40 cenas (24 focadas em móveis, 16 focadas em manipulandos) sob quatro condições de iluminação: Baseline, Luz da Câmera, Luzes Dinâmicas e Luzes Nominais.

• Desempenho de Segmentação: Os resultados indicam que as condições de Luz da Câmera causam a degradação mais significativa no desempenho de segmentação tanto para ConceptGraphs quanto para BBQ. A Iluminação Dinâmica mostrou um efeito leve, com alguns métodos apresentando pequenas melhorias na Precisão Média (mAcc).
• Comparação de Métodos: Os dois métodos exibiram modos de falha complementares. O BBQ produziu menos máscaras, mas geometricamente precisas, resultando em maior Interseção sobre União ponderada por frequência (f-mIoU), mas menor completude do grafo de cena (filtrando objetos). O ConceptGraphs recuperou mais objetos no geral, gerando maior completude, mas com máscaras menos precisas.
• QA Fundamentada em Prompt: Ambos os métodos pontuaram abaixo de 30% em perguntas fundamentadas em prompt para Medições e Relações, destacando a dificuldade da tarefa. No entanto, perfis de robustez distintos emergiram:
  • O BBQ geralmente superou o ConceptGraphs em Relações e no subconjunto de Manipulandos, mas sofreu quedas notáveis de desempenho sob Iluminação Dinâmica. Isso é atribuído à estratégia do BBQ de gerar incorporações por objeto a partir de imagens únicas, tornando-o sensível a condições desfavoráveis de quadro.
  • O ConceptGraphs agregou evidências através de múltiplas visões, estabilizando suas incorporações sob Iluminação Dinâmica e mostrando ganhos nessa condição, particularmente para categorias de Móveis.
• Padrão vs. Fundamentado em Prompt: O estudo descobriu que a VQA derivada de imagem padrão frequentemente produziu pontuações de precisão mais altas do que a QA Fundamentada em Prompt para as mesmas categorias, sugerindo que as métricas padrão podem estar infladas por vieses dependentes de trajetória onde apenas objetos visíveis são consultados.

Significância
O artigo postula que o OSMa-Bench++ transforma a geração de cenas sintéticas em uma ferramenta prática para avaliação orientada à manipulação. Sua significância principal reside em duas áreas:

1. Extensibilidade: Vai além de conjuntos de dados fixos, permitindo que pesquisadores gerem cenários de avaliação diversos e desafiadores (por exemplo, níveis específicos de desordem ou condições de iluminação) que são difíceis de obter em benchmarks fixos do mundo real.
2. Estabilidade de Avaliação: O protocolo fundamentado em prompt fornece um mecanismo mais estável para avaliar a completude do grafo de cena em relação a contagens de objetos e relações inter-objetos, abordando uma lacuna crítica onde a avaliação dependente de visão padrão falha em capturar a estrutura completa pretendida da cena.

Os autores concluem que o framework destaca efetivamente como a completude semântica em nível de grafo e a robustez de segmentação capturam aspectos complementares da qualidade de representação, conforme evidenciado pelas respostas divergentes do BBQ e do ConceptGraphs a mudanças de iluminação e composição de cena.