BOP-Distrib++: Local Symmetry Discovery for 6D Pose Benchmarking Under Visual Ambiguities

Robôs e sistemas de realidade aumentada dependem de uma habilidade fundamental: saber exatamente onde um objeto está no espaço e como ele está orientado. Essa tarefa, conhecida como estimativa de pose sexidirecional, envolve calcular a posição tridimensional de um objeto e sua orientação tridimensional em relação a uma câmera. É a lógica invisível que permite que um braço robótico agarre uma ferramenta ou que uma sobreposição digital permaneça fixa em uma peça móvel. Para que essa tecnologia funcione, os computadores devem ser treinados em vastas bibliotecas de imagens onde a resposta correta já é conhecida. No entanto, uma falha oculta na forma como essas respostas são fornecidas tem distorcido há muito tempo a avaliação dos algoritmos projetados para resolver esse enigma. O problema surge quando um objeto parece igual a partir de diferentes ângulos, ou quando partes dele estão escondidas. Nesses momentos de ambiguidade visual, não existe uma única resposta correta; existem múltiplas possibilidades válidas.

Durante anos, a forma padrão de testar esses sistemas tratava cada objeto como se tivesse apenas uma posição verdadeira, mesmo quando a imagem sugeria o contrário. Pesquisadores pegavam uma única posição de "verdade fundamental" (ground-truth) e aplicavam um conjunto fixo de regras para lidar com a simetria, assumindo que essas regras se aplicavam a cada foto desse objeto igualmente. Essa abordagem ignorava a realidade da cena. Se uma câmera vê apenas o lado liso e redondo de uma xícara, o computador não consegue dizer se a xícara está em pé ou de cabeça para baixo. Se um furo é visível, a resposta torna-se clara. O método antigo falhava em distinguir esses casos, tratando uma visão confusa e ambígua da mesma forma que uma visão clara e inequívoca. Isso significava que os benchmarks usados para classificar os melhores algoritmos foram construídos sobre um fundamento imperfeito, potencialmente recompensando métodos que acertavam por sorte enquanto penalizavam aqueles que identificavam corretamente múltiplas possibilidades.

Uma equipe de pesquisadores da Université Paris-Saclay e outras instituições corrigiu agora esse descuido com uma nova abordagem chamada BOP-Distrib++. Em vez de atribuir uma única resposta estática a cada imagem, eles desenvolveram um método para descobrir automaticamente as simetrias específicas de um objeto com base no que está realmente visível em cada foto. Eles começaram analisando os modelos digitais 3D dos objetos para encontrar suas simetrias inerentes, como padrões rotacionais ou superfícies planas que parecem idênticas a partir de diferentes ângulos. Em seguida, para cada imagem em seus conjuntos de dados, eles simularam a visão da câmera para determinar quais partes do objeto estavam escondidas e quais estavam visíveis. Ao combinar a forma do objeto com a visão específica, eles geraram um conjunto único de posições possíveis para aquele exato momento. Esse processo transformou a verdade fundamental de um único ponto em uma distribuição de possibilidades, refletindo com precisão se a cena era clara ou confusa.

Os pesquisadores aplicaram este novo sistema de rotulagem mais preciso aos conjuntos de dados padrão usados para testar os principais métodos de estimativa de pose do mundo. Quando reavaliaram os algoritmos de melhor desempenho usando essas distribuições específicas de imagem, os resultados mudaram drasticamente. Métodos que anteriormente ocupavam o topo do ranking viram suas pontuações caírem significativamente, enquanto outros subiram nas classificações. A mudança ocorreu porque os antigos benchmarks eram excessivamente permissivos; eles aceitavam respostas que eram tecnicamente corretas para uma visão diferente do objeto, mesmo que fossem erradas para a imagem específica mostrada. A nova avaliação revelou que muitos sistemas de última geração não eram tão robustos quanto se pensava anteriormente ao serem confrontados com visões parciais ou formas simétricas. O estudo mostrou que, quando o teste é justo e leva em conta o contexto visual específico, o cenário de desempenho dessas tecnologias é completamente diferente.

Além de corrigir as classificações para sistemas de resposta única, este trabalho também abriu as portas para avaliar uma nova geração de métodos que preveem um conjunto inteiro de posições possíveis, em vez de apenas um palpite. Até agora, esses métodos de múltiplas poses só podiam ser testados em imagens sintéticas, geradas por computador, porque os conjuntos de dados do mundo real careciam das anotações necessárias. Com as novas distribuições imagem por imagem, os pesquisadores foram capazes de testar esses sistemas avançados em fotografias reais pela primeira vez. Eles descobriram que, embora os métodos de pose única continuassem sendo melhores em apontar uma localização específica quando a visão era clara, os métodos de múltiplas poses se destacavam ao capturar toda a gama de possibilidades quando a visão era ambígua. Essa capacidade de reconhecer e listar múltiplas soluções válidas é crucial para aplicações do mundo real, onde um robô precisa entender que um objeto pode estar em um de vários lugares antes de tentar interagir com ele.

O estudo conclui que a maneira como medimos o sucesso na visão computacional deve evoluir para corresponder à complexidade do mundo real. Ao nos afastarmos de uma definição de correção rígida e universal e abraçarmos a natureza fluida da ambiguidade visual, os pesquisadores podem agora construir e testar sistemas que estão verdadeiramente prontos para os ambientes imprevisíveis de fábricas, casas e ambientes externos. O trabalho não afirma ter resolvido o problema da ambiguidade visual, mas forneceu o primeiro mapa preciso do terreno, permitindo que as futuras inovações naveguem por ele com maior precisão e confiabilidade.