BOP-Distrib++: Local Symmetry Discovery for 6D Pose Benchmarking Under Visual Ambiguities

로봇과 증강 현실 시스템은 물체가 공간 내에서 정확히 어디에 있고 어떻게 놓여 있는지 아는 근본적인 능력에 의존한다. 6차원 포즈 추정(six-dimensional pose estimation)으로 알려진 이 작업은 카메라를 기준으로 물체의 3차원 위치와 3차원 방향을 계산하는 과정을 포함한다. 이는 로봇 팔이 도구를 잡거나 디지털 오버레이가 움직이는 부품 위에 고정되어 있도록 만드는 보이지 않는 논리이다. 이 기술이 작동하려면 컴퓨터는 정답이 이미 알려진 방대한 이미지 라이브러리를 통해 학습되어야 한다. 그러나 이러한 정답이 제공되는 방식에 숨겨진 결함이 오랫동안 이 퍼즐을 풀기 위해 설계된 알고리즘의 평가를 왜곡해 왔다. 문제는 물체가 여러 각도에서 똑같이 보이거나 물체의 일부가 가려졌을 때 발생한다. 이러한 시각적 모호함의 순간에는 단 하나의 정답이 존재하는 것이 아니라, 여러 개의 유효한 가능성이 존재한다.

수년 동안 이러한 시스템을 테스트하는 표준 방식은 이미지가 다른 양상을 보일 때조차 모든 물체가 단 하나의 진정한 위치만을 가진 것처럼 취급했다. 연구자들은 단 하나의 정답(ground-truth) 위치를 가져와 대칭성을 설명하기 위한 고정된 규칙 세트를 적용했으며, 이 규칙들이 해당 물체의 모든 사진에 동일하게 적용된다고 가정했다. 이러한 접근 방식은 장면의 실체를 무시했다. 만약 카메라가 컵의 매끄럽고 둥근 옆면만을 보고 있다면, 컴퓨터는 컵이 똑바로 서 있는지 아니면 뒤집혀 있는지 구분할 수 없다. 구멍이 보인다면 답은 명확해진다. 기존 방식은 이러한 경우를 구분하지 못하고, 혼란스럽고 모호한 시점과 명확하고 모호하지 않은 시점을 동일하게 취급했다. 이는 최고의 알고리즘을 순위 매기는 데 사용되는 벤치마크가 불완전한 토대 위에 구축되었음을 의미하며, 운 좋게 잘 맞춘 방법을 보상하거나 여러 가능성을 올바르게 식별한 방법을 불이익을 주는 결과를 초래했을 수 있다.

파리-사클리 대학교(Université Paris-Saclay)와 기타 기관의 연구팀은 이제 BOP-Distrib++라고 불리는 새로운 접근 방식을 통해 이 간과된 부분을 바로잡았다. 각 이미지에 대해 정적인 단일 정답을 할당하는 대신, 그들은 실제로 보이는 것에 기반하여 물체의 특정 대칭성을 자동으로 발견하는 방법을 개발했다. 그들은 먼저 3차원 디지털 모델을 분석하여 회전 패턴이나 서로 다른 각도에서 동일해 보이는 평평한 표면과 같은 물체의 고유한 대칭성을 찾아냈다. 그런 다음, 데이터셋의 모든 개별 이미지에 대해 카메라의 시야를 시뮬레이션하여 물체의 어느 부분이 가려지고 어느 부분이 보이는지를 결정했다. 이 과정에서 물체의 형태와 특정 시점을 결합하여, 그 정확한 순간에 대한 고유한 가능한 위치 집합을 생성했다. 이 과정은 정답(ground truth)을 단일 지점에서 가능성의 분포로 변환하여, 장면이 명확한지 혹은 혼란스러운지를 정확하게 반영하도록 만들었다.

연구진은 이 새롭고 더 정밀한 라벨링 시스템을 세계 최고의 포즈 추정 방법들을 테스트하는 데 사용되는 표준 데이터셋에 적용했다. 그들이 세계 최고 수준의 알고리즘들을 이 이미지별 분포를 사용하여 재평가했을 때, 결과는 극적으로 변했다. 이전에 최상위권에 머물렀던 방법들은 점수가 크게 하락한 반면, 다른 방법들은 순위가 상승했다. 이러한 변화는 기존의 벤치마크가 너무 관대했기 때문에 발생했다. 기존 방식은 특정 이미지에 보여지는 모습과는 기술적으로 다르더라도, 물체의 다른 시점에 대해서는 정답이 될 수 있는 답변들을 수용해 왔던 것이다. 새로운 평가는 많은 최첨단 시스템들이 부분적인 시야나 대칭적인 모양에 직면했을 때 이전에 생각했던 것만큼 견고하지 않다는 것을 드러냈다. 이 연구는 테스트가 공정하고 특정 시각적 맥락을 고려할 때, 이러한 기술들의 성능 지형이 완전히 달라진다는 것을 보여주었다.

이 연구는 단일 정답 시스템의 순위를 바로잡는 것을 넘어, 단 하나의 추측이 아닌 전체 가능한 위치 집합을 예측하는 새로운 세대의 방법들을 평가할 수 있는 문을 열었다. 지금까지 이러한 다중 포즈(multi-pose) 방법들은 실제 데이터셋에 필요한 주석(annotation)이 부족했기 때문에 합성된 컴퓨터 생성 이미지에서만 테스트될 수 있었다. 새로운 이미지별 분포를 통해, 연구진은 이러한 고급 시스템들을 실제 사진에서도 처음으로 테스트할 수 있었다. 그들은 단일 포즈 방법이 시야가 명확할 때는 특정 위치를 정확히 짚어내는 데 더 뛰어나지만, 다중 포즈 방법은 시야가 모호할 때 전체 가능성의 범위를 포착하는 데 탁월하다는 것을 발견했다. 이러한 여러 유효한 해결책을 인식하고 나열하는 능력은 로봇이 상호작용을 시도하기 전에 물체가 여러 곳 중 한 곳에 있을 수 있음을 이해해야 하는 실제 응용 분야에서 매우 중요하다.

이 연구는 머신 비전의 성공을 측정하는 방식이 현실 세계의 복잡성에 맞춰 진화해야 한다고 결론짓는다. 정해진 일률적인 정답 정의에서 벗어나 시각적 모호함의 유동적인 본질을 수용함으로써, 연구자들은 이제 공장, 가정, 야외 환경의 예측 불가능한 환경에 진정으로 대비할 수 있는 시스템을 구축하고 테스트할 수 있게 되었다. 이 연구는 시각적 모호함의 문제를 해결했다고 주장하는 것이 아니라, 미래의 혁신이 이를 더 정밀하고 신뢰성 있게 항해할 수 있도록 하는 첫 번째 정확한 지도를 제공한 것이다.