당신이 컴퓨터에게 디지털 설계도, 즉 '메시(mesh)'를 보고 고양이, 공룡, 혹은 안경 같은 3D 물체를 인식하도록 가르치려 한다고 상상해 보십시오. 이 설계도는 수천 개의 작은 삼각형들이 마치 지오데식 돔이나 로우 폴리(low-poly) 비디오 게임 캐릭터처럼 서로 꿰매어져 만들어진 것입니다. 컴퓨터가 이러한 형상을 이해하려면 단순히 삼각형의 크기뿐만 아니라, 그 삼각형들이 얼마나 기울어져 있고 어떻게 연결되어 있는지도 알아야 합니다. 까다로운 점은, 컴퓨터가 종종 '방향'을 이해하는 데 서툴다는 것입니다. 만약 옆에서 보았을 때 언덕과 골짜기가 똑같이 보인다면, 표준적인 컴퓨터는 기울기만을 측정하기 때문에 두 형상이 동일하다고 생각할 수 있습니다. 이는 매우 큰 문제입니다. 현실 세계의 물체는 종종 손상되거나, 잘려 나가거나, 일부가 누락될 수 있기 때문입니다. 만약 컴퓨터가 '튀어나온 부분(bump)'과 '들어간 부분(dip)'의 차이를 구별하지 못한다면, 물체의 일부가 잘려 나갔을 때 형상을 제대로 인식하지 못해 완전히 실패하게 될 것입니다.

이 논문은 컴퓨터에게 이러한 '결여된 방향 감각'을 가르쳐주는 영리하고 새로운 방법을 소개합니다. 김종현 연구원이 이끄는 연구진은 단순하지만 강력한 기술을 제안합니다. 바로 두 삼각형 사이의 각도를 측정하는 대신, 그 각도에 플러스(+) 또는 마이너스(-)와 같은 '부호(sign)'를 부여하는 것입니다. 이것은 마치 나침반에 북극과 남극을 부여하거나, 명확한 '왼쪽'과 '오른쪽'이 있는 이야기를 들려주는 것과 같습니다. 이 '부호가 있는(signed)' 숫자를 사용함으로써, 컴퓨터는 마침내 볼록한 코와 오목한 콧구멍의 차이를 구분할 수 있게 되며, 이는 물체가 조각나거나 회전하더라도 마찬가지입니다. 논문은 이 작은 추가 사항이 전체 컴퓨터의 뇌를 처음부터 다시 구축할 필요 없이, 컴퓨터를 훨씬 더 강력하게 만들고 형상이 불완전할 때 혼란에 빠질 가능성을 줄여준다는 것을 보여줍니다.

문제점: 컴퓨터의 '사각지대'

오랫동안 컴퓨터에게 3D 형상을 가르치는 가장 좋은 방법은 MeshCNN이라 불리는 시스템을 사용하는 것이었습니다. MeshCNN을 3D 물체의 모서리를 따라 걸으며 각 모서리에 연결된 삼각형들을 관찰하는 탐정이라고 상상해 보십시오. 이 탐정은 모서리의 길이와 삼각형 사이의 각도 같은 것들을 측정합니다. 하지만 여기에는 중대한 사각지대가 있었습니다. 탐정은 각도의 '크기'만 측정했을 뿐, '방향'은 측정하지 못했습니다.

만약 당신이 산처럼 솟아오른(볼록한) 종이 접기와 골짜기처럼 파인(오목한) 종이 접이를 가지고 있다면, 표준적인 탐정은 둘 다 동일한 각도로 인식합니다. 이는 마치 그림자를 보는 것과 같습니다. 빛의 위치가 적절하다면 산과 골짜기는 똑같은 그림자를 드리울 수 있습니다. 이는 완벽하고 닫힌 물체에는 문제가 없지만, 현실 세계는 무질서합니다. 만약 당신이 조각상의 3D 스캔 데이터를 얻었는데 한 부분이 잘려 나갔거나, 물체가 회전했다면, 컴퓨터는 맥락을 잃어버립니다. 무엇이 '위'이고 무엇이 '안쪽'인지 알지 못하면, 컴퓨터는 잘려 나간 고양이를 뱀의 몸통과 유사한 가장자리 모양을 가졌다는 이유로 뱀이라고 착각할 수도 있습니다. 기존 방식들은 형상이 깨지거나 불완전할 때 평정심을 유지하는 데 어려움을 겪었습니다.

해결책: '부호가 있는' 나침반

이를 해결하기 위해 저자들은 **Signed Half-Dihedral Scalar(부호가 있는 반-이면각 스칼라)**라는 새로운 도구를 발명했습니다. 이름이 매우 길으니, 비유를 통해 풀어보겠습니다.

당신이 두 개의 문(삼각형)을 연결하는 경첩(모서리) 위에 서 있다고 상상해 보십시오.

• 기존 방식: 당신은 단지 문이 얼마나 넓게 열려 있는지만 측정합니다. "45도 열려 있습니다"라고 말합니다. 하지만 왼쪽 문이 바깥으로 열렸는지 오른쪽 문이 안으로 열렸는지는 알지 못합니다.
• 새로운 방식: 당신은 부호를 추가합니다. "왼쪽 문은 바깥쪽으로 22.5도 열렸고, 오른쪽 문은 안쪽으로 22.5도 열렸습니다"라고 말합니다.

저자들은 이를 "signed half-dihedral scalar"라고 부릅니다. 이것은 하나의 숫자가 컴퓨터에게 두 가지를 동시에 알려주는 특별한 숫자입니다:

1. 표면이 얼마나 기울어졌는가 (크기)
2. 어느 방향으로 기울어졌는가 (부호: 한 방향은 양수, 반대 방향은 음수)

이 숫자는 특별합니다. 왜냐하면 물체를 움직이거나, 회전시키거나, 크기를 키우거나 줄여도 상관없기 때문입니다. 오직 두 삼각형 사이의 국소적인 관계만을 따집니다. 이는 지도를 거꾸로 돌려도 작동하는 GPS와 같습니다.

테스트 방법

연구팀은 단순히 이 방법이 작동할 것이라고 추측한 것이 아니라, SHREC 벤치마크라고 불리는 표준 3D 형상 세트를 사용하여 이를 검증했습니다. 여기에는 고양이, 토끼부터 공룡, 상어에 이르기까지 600개의 서로 다른 물체가 포함되어 있었습니다.

먼저, 팀은 완벽하고 온전한 물체를 대상으로 컴퓨터를 테스트했습니다. 새로운 방식은 **99.5%**의 정확도를 기록했습니다. 이는 기존의 가장 뛰어난 방식들과 대등한 수준으로, 이 새로운 '방향 감각'을 추가하는 것이 물체가 완벽할 때 컴퓨터의 속도를 늦추거나 혼란을 주지 않는다는 것을 입증합니다.

하지만 진짜 마법은 물체를 망가뜨렸을 때 일어났습니다. 그들은 '구조적 섭동(structural perturbations)', 즉 형상의 일부를 잘라내거나, 이상하게 회전시키거나, 위치를 옮기는 등의 작업을 시뮬레이션했습니다.

• 형상을 잘라냈을 때, 기존 방식(MeshCNN 등)은 정확도가 크게 떨어지며 실패하기 시작했습니다.
• 그러나 새로운 방식은 놀랍도록 강력하게 버텨내며, 물체가 손상되었음에도 **93.33%**의 정확도를 유지했습니다.

저자들은 이 새로운 도구가 실제로 핵심적인 역할을 하고 있다는 것을 증명하기 위해 세 가지 버전을 테스트하는 특정 실험을 수행했습니다.

1. 형상만 사용 (Shape only): 컴퓨터가 삼각형의 크기만 보고 방향은 무시했습니다. 정확도는 **96.8%**였습니다.
2. 방향만 사용 (Direction only): 컴퓨터가 방향은 보고 크기는 무시했습니다. 정확도는 **94.5%**였습니다.
3. 둘 다 사용 (Both together): 컴퓨터가 크기와 부호가 있는 방향을 모두 사용했습니다. 정확도는 **99.5%**였습니다.

이는 새로운 '부호가 있는' 숫자가 단순히 컴퓨터가 이미 알고 있는 정보의 복제본이 아니라, 시스템을 더 똑똑하게 만들기 위해 형상 정보와 함께 작동하는 결정적인 퍼즐 조각임을 보여주었습니다.

이것이 왜 중요한가

여기서 가장 중요한 발견은 컴퓨터가 고양이를 조금 더 잘 인식하게 되었다는 점이 아닙니다. 그것은 컴퓨터가 **강건해졌다(robust)**는 점입니다. 현실 세계에서 3D 스캔은 결코 완벽하지 않습니다. 구멍이 있고, 누락된 부분이 있으며, 이상한 각도가 존재합니다. 기존 방식들은 물체가 완벽하게 닫힌 껍데기 형태일 것을 전제로 했습니다. 만약 그 안에 구멍을 내면 컴퓨터는 길을 잃었습니다.

이 부호 있는 스칼라를 사용함으로써, 컴퓨터는 이제 부서진 형상을 보고도 "아, 귀 부분이 없긴 하지만, 남아있는 털의 방향을 보니 이것은 고양이다"라고 말할 수 있습니다. 이 논문은 이 접근 방식이 '표현 수준의 확장(representation-level extension)'이라고 제안하는데, 이는 전체 컴퓨터의 뇌를 교체할 필요 없이 컴퓨터가 보는 데이터를 업그레이드하는 방법이라는 의미입니다. 이는 마치 새로운 눈을 사는 대신, 기존의 안경에 어둠 속에서도 잘 보이는 새 렌즈를 끼워주는 것과 같습니다.

결론

이 논문은 이 단순한 부호 있는 숫자가 3D 형상 인식을 더 신뢰할 수 있게 만드는 강력한 도구라는 결론을 내립니다. 저자들은 이 방법의 주요 이점이 '명시적인 국소 방향 단서(explicit local orientation cues)'를 보존하는 데 있다고 언급하며, 이는 물체가 불완전하더라도 컴퓨터가 위나 아래의 방향을 놓치지 않게 해준다는 것을 의미합니다. 저자들은 이 방법이 기존 시스템을 완전히 대체하기보다는 기존 시스템과 함께 작동하도록 설계되었다고 명시했지만, 결과적으로 이 '방향 감각'을 추가하는 것이 우리가 현실 세계에서 마주하는 무질서하고 불완전한 3D 물체를 다루는 데 있어 게임 체인저라는 것을 보여주었습니다. 컴퓨터는 이제 단순히 삼각형의 개수를 세는 것이 아니라, 그들이 들려주는 이야기를 드디어 이해하고 있습니다.