아이에게 강아지를 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 골든 리트리버가 달리고, 잠자고, 점프하는 사진들을 보여줍니다. 그러고 나서 푸들의 사진을 한 장 보여줍니다. 비록 푸들은 다르게 생겼지만, 아이는 즉시 "저건 강아지야!"라고 알아챕니다. 아이는 단순히 특정한 외형을 배운 것이 아니라, 강아지라는 '개념'을 배운 것입니다. 물체가 옆으로 누워 있거나 뒤집혀 있는 새로운 상황에서도 사물을 인식하는 이 능력은 인간의 뇌와 인공지능 모두가 갈망하는 성배(holy grail)입니다. 오랫동안 과학자들은 왜 우리의 컴퓨터 뇌라고 불리는 심층 신경망(Deep Neural Networks, DNN)이 사진 속 사물을 찾아내는 데는 매우 뛰어나면서도, 학습하지 못한 방식으로 회전된 동일한 사물에는 완전히 혼란스러워하는지에 대해 의문을 품어왔습니다. 이는 마치 테이블 위의 컵은 식별할 수 있지만, 컵이 옆으로 누워 있으면 완전히 다른 물체라고 생각하는 로봇과 같습니다. 이러한 디지털 뇌가 새로운 각도를 다루는 법을 배우는 과정을 이해하는 것은 매우 중요합니다. 왜냐하면 현실 세계는 매 초마다 물체가 회전하고, 기울어지고, 관점이 변하는 곳이기 때문입니다.

이 논문은 그 미스터리를 파헤치며 다음과 같은 단순하지만 심오한 질문을 던집니다. "이 컴퓨터 뇌들이 단 몇 가지 예시를 보는 것만으로도 '새로운(novel)' 방향의 객체를 인식하는 법을 배울 수 있을까, 아니면 모든 각도를 일일이 암기해야만 할까?" 연구진은 '완전히 본(fully seen)' 객체(모든 가능한 회전 각도를 보여준 것)와 '부분적으로 본(partially seen)' 객체(특정 각도들만 보여준 것)를 섞어서 AI 모델을 훈련시키는 영리한 실험을 설계했습니다. 그런 다음, 그들은 부분적으로 본 객체들을 학습 과정에서 본 적 없는 '분포 외(out-of-distribution)' 각도로 돌려놓고 테스트했습니다. 결과는 매우 흥-미로웠습니다. AI는 새로운 각도에 대해 일반화할 수 있었지만, 이는 매우 구체적이고 예측 가능한 방식으로만 가능했습니다. 연구 결과, AI에게 충분히 다양한 종류의 '완전히 본' 객체들을 보여주면, AI는 일종의 내부 지도를 구축하기 시작한다는 사실이 밝혀졌습니다. 이 지도는 부분적으로 본 객체가 회전하더라도 이를 인식할 수 있게 해주는데, 단, 그 회전이 단순한 2D 회전(예: 페이지를 넘기는 것과 같은)이거나, 객체의 그림자 또는 실루엣이 익숙하게 유지되는 플립(flip)인 경우에만 해당되었습니다. 이는 AI의 내부 '뉴런'(네트워크 내부의 작은 처리 단위)이 물체가 움직여도 변하지 않는 특정 특징(예: 날개나 바퀴)을 포착하도록 학습되기 때문이라는 것을 시사합니다. '완전히 본' 객체들에 의해 훈련된 이 특징 탐지기(feature detectors)들은 부분적으로 본 객체들에게 지식을 '전파'하여, 미지의 것을 인식하게 하는 가교 역할을 하는 것으로 보입니다. 하지만 저자들은 이것이 마법은 아니라는 점을 주의 깊게 언급했습니다. AI는 여전히 객체의 일부를 가리는 복잡한 3D 비틀림(자기 가림 현상, self-occlusion)에는 어려움을 겪으며, 이러한 결과는 보편적인 지성의 법칙이 아닌 특정 데이터셋을 이용한 시뮬레이션에 기반한 것입니다.

회전하는 비행기의 이야기

심층 신경망을 알파벳을 배우려고 노력하는, 매우 열정적이지만 다소 경직된 학생이라고 생각해 보세요. 만약 당신이 빨간색으로 쓰인 글자 "A"만 보여준다면, 그 학생은 파란색 "A"나 필기체로 쓰인 "A"를 알아보지 못할 수도 있습니다. 컴퓨터 비전의 세계에서 이 학생은 심층 신경망(DNN)이며, '글자'는 비행기, 자동차, 혹은 기묘한 기하학적 모양과 같은 객체들입니다. 큰 문제는 이 네트워크들이 학습 중에 보지 못한 방식으로 물체가 돌아갔을 때 이를 인식하는 데 매우 서투르다는 점입니다. 만약 비행기가 똑바로 날아가고 있는 사진으로 네트워크를 훈련시킨 후, 비행기가 공중제비(barrel roll)를 도는 모습을 보여준다면, 네트워크는 종종 당황하며 "이게 뭔지 모르겠어!"라고 말하곤 합니다.

이 논문의 연구자들은 왜 이런 일이 발생하는지, 그리고 네트워크가 따르고 있는 숨겨진 규칙책이 있는지 알아내고자 했습니다. 그들은 단순히 무작식로 사진을 던져준 것이 아니라, 매우 구체적인 훈련 캠프를 설정했습니다. 예를 들어 50개의 서로 다른 장난감 비행기가 있다고 가정해 봅시다. 이 비행기들 중 일부에 대해서는 앞, 뒤, 거꾸로, 옆으로 등 상상할 수 있는 모든 각도를 AI에게 보여주었습니다. 그들은 이를 '완전히 본' 비행기라고 불렀습니다. 반면 다른 비행기들에 대해서는 코 부분이 아래를 향하고 있는 것처럼 아주 적은 각도의 조각만을 보여주었습니다. 이것들이 '부분적으로 본' 비행기였습니다.

그다음 테스트가 이어졌습니다. 연구진은 '부분적으로 본' 비행기들을 가져다가 AI가 한 번도 본 적 없는 새로운 '분포 외(out-of-distribution, OoD)' 각도로 회전시켰습니다. 과연 AI는 실패할까요? 아니면 어떻게든 알아낼 수 있을까요?

"2D 회전"의 마법

답은 "예"와 "아니오"가 섞여 있었지만, 매우 흥미로운 반전이 있었습니다. AI는 부분적으로 본 비행기를 더 잘 인식하게 되었지만, 오직 새로운 각도가 특정한 종류의 회전일 때만 그러했습니다.

연구진은 AI가 2D 회전(테이블 위의 사진을 돌리는 것과 같은)이나, 객체의 그림자(실루엣)를 비슷하게 유지하는 플립(flip) 형태의 회전일 때 객체를 인식하는 데 탁월하다는 것을 발견했습니다. 예를 들어, AI가 비행기의 앞모습을 보았다면, 비행기의 뒷모습을 볼 때도 이를 인식할 수 있는 경우가 많았습니다. 왜냐하면 앞모습과 뒷모습의 '그림자'가 매우 유사하기 때문입니다. 이는 마치 사람의 얼굴을 보고 있을 때, 그 사람이 고개를 돌리고 있더라도 머리의 형태가 변하지 않았다는 것을 알기 때문에 그 사람을 알아내는 것과 같습니다.

하지만 비행기가 자신의 일부를 가릴 정도로 복잡하게 3D로 뒤틀린 경우(예: 비행기가 회전하여 날개가 몸체를 가리는 경우), AI는 혼란에 빠졌습니다. 논문은 AI가 이러한 '자기 가림(self-occluding)' 각도에서 어려움을 겪는 이유가 자신이 신뢰해 온 특징들을 볼 수 없기 때문이라고 제안합니다.

"특징 탐정" 이론

그렇다면 AI는 어떻게 이 일을 해낼까요? 저자들은 우리 뇌가 작동하는 방식과 매우 흡사한 이론을 제시합니다. 그들은 AI의 '두뇌'(신경망) 내부를 들여다보며 개별 뉴런들이 어떻게 반응하는지 관찰했습니다. 그들은 특정 뉴로들이 특징 탐정(feature detectives) 역할을 한다는 것을 발견했습니다.

'날개'를 찾는 탐정 뉴런이 있다고 상상해 보세요. AI가 '완전히 본' 비행기를 볼 때, 이 탐정은 비행기가 어떻게 돌아가든 상관없이 '날개'가 비행기의 핵심 요소라는 것을 학습합니다. 이 탐정은 다양한 각도에서 날개를 포착하는 데 매우 능숙해집니다. 이제 AI가 (단 몇 개의 각도만 본) 새로운 비행기를 보게 되었을 때, 그 동일한 '날개 탐정'이 여전히 그곳에 있습니다. 비록 AI가 이 특정 새로운 비행기를 모든 각도에서 본 적은 없지만, 그 탐정은 날개를 알아보고 이렇게 말합니다. "헤이, 이 특징을 알고 있어! 이건 비행기임에 틀림없어!"

논문은 '완전히 본' 비행기에 의해 학습된 '불변성(invariance, 변화에도 불구하고 무언가를 인식하는 능력)'이 부분적으로 본 비행기로 **전파(disseminated)**된다고 제안합니다. 이는 '완전히 본' 비행기들이 선생님 역할을 하여, 무엇이 비행기를 비행기로 만드는지에 대한 지식을 '부분적으로 본' 학생들에게 전달하는 것과 같습니다. AI가 훈련하는 '완전히 본' 비행기가 많아질수록 이 가르침은 더 강력해지며, 까다로운 새로운 각도를 인식하는 능력도 향상됩니다.

게임의 규칙

연구진은 단순히 추측한 것이 아니라, AI가 어떤 각도는 맞히고 어떤 각도는 틀릴지를 정확히 예측하는 수학적 모델을 구축했습니다. 그들의 모델에는 세 가지 주요 요소가 있었습니다:

1. 작은 각도 회전: 새로운 각도가 AI가 보았던 것과 아주 약간만 다르다면, 대개 쉽습니다.
2. 평면 내 회전(In-Plane Rotations): 객체가 평면 위에서 회전하는 것(2D 회전)이라면, AI는 이를 잘 수행합니다.
3. 실루엣 유사성: 새로운 각도에서의 객체의 그림자가 기존 각도에서의 그림자와 비슷하다면, AI는 이를 처리할 수 있습니다.

그들이 만든 모델을 실제 AI 결과와 대조했을 때, 완벽하게 일치했습니다. 모델은 AI의 성공률을 높은 정확도로 예측할 수 있었습니다. 이는 AI가 단순히 찍는 것이 아니라, 세상을 보는 방식에 기반한 논리적인 규칙 세트를 따르고 있음을 확인시켜 줍니다.

이것이 미래에 의미하는 바

논문은 이러한 컴퓨터 뇌들이 아직 완벽하지는 않지만, 생물학적 뇌와 놀라울 정도로 유사한 일을 하고 있다고 결론짓습니다. 그들은 특정 특징을 사용하여 회전에도 살아남는 '이것이 무엇인가'에 대한 감각을 구축합니다. 그러나 여 trình 한계도 있습니다. 그들은 인간만큼 복잡한 3D 뒤틀림(객체의 일부를 가리는 현상)을 처리하지 못합니다. 저자들은 미래에 우리가 이 네트워크들에게 단순히 정지된 사진이 아니라, 영상(시간적 연관성, temporal association)을 통해 학습하도록 가르칠 수 있을 것이라고 제로합니다. 이는 아기들이 주변의 사물이 움직이는 것을 관찰하며 배우는 방식과 같습니다.

현재로서는, 이 연구가 우리에게 AI 시스템이 어디에서 성공하고 어디에서 실패하는지에 대한 명확한 지도를 제공합니다. 만약 우리가 3D 세상을 항해할 수 있는 더 똑똑한 AI를 원한다면, 우리는 그들에게 단순히 물체가 어떻게 보이는지가 아니라, 물체가 회전함에 따라 그 그림자와 특징이 어떻게 변하는지를 이해하도록 도와줘야 한다는 것을 보여줍니다. 이것은 작은 진전이지만, 기계가 우리처럼 진정으로 세상을 바라볼 수 있게 만드는 길로 향하는 한 걸음입니다.