당신이 로봇에게 다양한 종류의 과일을 인식시키는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 사과, 오렌지, 바나나 사진 수천 장을 보여줍니다. 로봇의 뇌는 모든 과일이 특정 위치를 차지하는 거대한 지도입니다. "표현 학습(representation learning)"의 목표는 이 지도를 배치하여, 모든 사과가 서로 옹기종기 모여 아늑한 그룹을 이루게 하고, 오렌지와 바나나는 멀리 떨어진 별도의 구역으로 밀어내는 것입니다. 만약 사과들이 지도 곳곳에 흩어져 있거나, 사과 구역이 오렌지 구역 바로 옆에 붙어 있다면 로봇은 혼란에 빠질 것입니다.

오랫동안 과학자들은 이 과일 그룹들을 촘촘하게 모으고 서로 멀리 떨어뜨리기 위해 수학을 사용해 왔습니다. 그들은 "분산(variance, 그룹이 얼마나 퍼져 있는지)"과 "분리(separation, 그룹 간의 거리)"를 측정합니다. 하지만 최근에는 "서브모듈 정보 척도(Submodular Information Measures, 이하 SIMs)"라고 불리는 더 복잡하고 새로운 도구가 인기를 얻고 있습니다. SIMs를 단순한 자가 아니라, 거리뿐만 아니라 그룹의 다양성, 영토를 얼마나 잘 커버하는지, 그리고 이웃과 얼마나 겹치는지까지 측정할 수 있는 매우 똑똑하고 유연한 자라고 생각해 보세요. 이 새로운 자들은 실제로 놀라운 성과를 보여주었지만, 정작 왜 그렇게 잘 작동하는지, 혹은 이 자들이 로봇의 지도가 어떤 특정한 "모양"을 갖도록 강제하는 것인지에 대해서는 아무도 이해하지 못했습니다. 그것은 마치 마법의 나침반이 항상 북쪽을 가리키고 있지만, 그것이 자기장을 측정하는 것인지, 중력을 측정하는 것인지, 아니면 단순히 바람을 측정하는 것인지 아무도 모르는 것과 같았습니다.

이 논문은 그 마법의 나침반의 덮개를 처음으로 열어젖힙니다. 저자인 Rishabh Iyer, Truong Pham, Anay Majee는 이 다양한 SIM 자들이 실제로 무엇을 측정하고 있는지 설명하기 위해 통합된 이론을 구축했습니다. 그들은 이 도구들이 모두 같은 것이 아니라는 사실을 발견했습니다. 이들은 마치 서로 다른 렌즈와 같습니다. 어떤 렌즈는 그룹을 촘촘하고 둥글게 만드는 데 집중하고(표준 분산 자처럼), 어떤 렌즈는 그룹의 모양에 집중합니다(그룹이 납작한 팬케이크인지 둥근 공 모양인지 신경 쓰는 자처럼). 어떤 렌즈는 희귀한 과일에 매우 민감하여, 외롭게 홀로 남겨진 바나나들이 자신만의 특별한 공간을 가질 수 있도록 보장하며, 다른 렌즈는 서로 다른 과일 그룹이 혼란스럽게 겹치고 있는지 확인합니다. 저자들은 합성 데이터(synthetic data, 즉 완벽하게 컴퓨터로 생성된 과일 세계)를 이용한 통제된 실험을 통해, 각 SIM 도구가 구체적인 고전적 수학 개념과 일치한다는 것을 증명했습니다. 그들은 이 도구들이 단순한 블랙박스가 아니라, 당신이 로봇의 뇌가 배우길 원하는 정확한 기하학적 모양에 따라 선택할 수 있는 정밀한 도구임을 보여주었습니다.

핵심적인 발견: 하나의 도구가 모든 것에 적합하지는 않다

이 논문의 주요 발견은 로봇의 과일 지도가 얼마나 좋은지를 측정하는 데 있어 단 하나의 "최선"의 방법은 존재하지 않는다는 것입니다. 대신, 연구자들이 사용해 온 "서브모듈 정보 척도(SIMs)"는 사실 세 가지의 뚜렷한 가족으로 나뉘며, 각각 매우 다른 성격과 역할을 가지고 있습니다. 저자들은 당신이 어떤 도구를 선택하느냐에 따라 로봇에게 완전히 다른 종류의 기하학을 학습하도록 요구하게 된다는 것을 발견했습니다.

로봇의 지도를 붐비는 무도회장이라고 생각해 보세요.

• "조밀함"을 측정하는 도구 (Graph Cut & LogDet): 어떤 도구들은 무용수들을 특정 그룹(예: 모든 사과) 안에 가깝게 유지하는 데 집착합니다.

  • Graph Cut은 사과 그룹의 모든 사람이 중심 근처에 서 있기를 바라는 엄격한 무용 지도사와 같습니다. 이는 "클래스 내 분산(within-class variance)"을 측정합니다. 만약 사과들이 흩어져 있다면, 이 도구는 "고쳐!"라고 소리칩니다. 이것은 "그룹을 촘촘하게 유지하라"고 말하는 고전적인 방식입니다.
  • LogDet는 더 정교한 지도사입니다. 이 도구는 단순히 사과들이 가까이 있는지만 신경 쓰는 것이 아니라, 사과 그룹의 모양을 신경 씁니다. 만약 사과들이 길고 가는 선 형태로 퍼져 있다면, LogDet는 사과들이 완벽한 원형으로 퍼져 있을 때와 다르게 인식합니다. 이는 "일반화된 분산(generalized variance)" 또는 그룹의 "부피(volume)"를 측정합니다. 이는 그룹이 납작한 팬케이크인지 아니면 푹신한 구름 형태인지를 확인하는 것과 같습니다.

• "희귀 과일"을 위한 도구 (Facility Location): 이 도구는 다른 초능력을 가지고 있습니다. 이 도구는 외로운 무용수들에게 관심을 가집니다. 무용수의 90%가 거대한 원을 그리며 춤추고 있고(헤드 클래스), 단 몇 명만이 구석에서 홀로 춤추고 있는(테일 또는 희귀 클래스) 무도회장을 상상해 보세요. 대부분의 도구는 큰 그룹이 너무 시끄럽기 때문에 외로운 무용수들을 무시합니다. 하지만 Facility Location 도구는 외로운 무용수들이 주목받을 수 있도록 만드는 사교적인 사람과 같습니다. 이 도구는 로봇에게 희귀한 그룹을 위한 추가 공간을 할당하도록 강제하여, 그들이 인기 있는 그룹에 의해 짓눌리지 않도록 보장합니다. 이것이 이 도구가 데이터가 "롱테일(long-tailed, 흔한 항목은 많고 희귀한 항목은 매우 적은 상태)" 구조일 때 왜 잘 작동하는지를 설명해 줍니다.

분리의 게임: 얼마나 멀리 떨어져 있어야 하는가?

그룹이 형성되면, 로봇은 이들을 서로 밀어내야 합니다. 이 논문은 서로 다른 도구들이 이들을 밀어내는 방식 또한 다르다는 것을 보여줍니다.

• Graph Cut Mutual Information은 단순한 거리 체크와 같습니다. 이 도구는 "사과 그룹의 중심과 오렌지 그룹의 중심이 얼마나 떨어져 있는가?"라고 묻습니다. 이는 그룹의 모양을 무시하고 중심점을 서로 밀어냅니다.
• LogDet Mutual Information은 더 똑똑합니다. 이 도구는 "그들이 퍼져 있는 정도를 고려했을 때, 얼마나 떨어져 있는가?"라고 묻습니다. 만약 사과 그룹이 매우 넓게 퍼져 있다면(예: 긴 선 형태), 오렌지가 그 사이로 침투하기 쉬워집니다. 이 도구는 그룹의 모양과 확산을 고려하여 그룹을 밀어내는데, 이는 "마할라노비스 거리(Mahalanobis distance)"와 유사합니다. 이는 "오렌지들이 직선상으로는 멀리 떨어져 있지만, 사과 그룹의 확산 범위 가장자리에는 위험할 정도로 가까우니 더 멀리 밀어내야 해!"라고 말하는 것과 같습니다.
• Facility Location Mutual Information은 가장 독특합니다. 이 도구는 그룹의 중심에는 관심이 없습니다. 대신, 무용수들이 실제로 서 있는 "모드(modes)"나 특정 지점에 관심을 가집 너무. 만약 사과 그룹에 두 개의 뚜렷한 클러스터(예: 빨간 사과와 초록 사과)가 있고, 오렌지 그룹이 빨간 사과 바로 옆에 있다면, 이 도구는 그 특정한 겹침을 포착합니다. 이는 "오렌지가 빨간 사과를 대표할 수 있는가?"라고 물으며 "표현적 중첩(representational overlap)"을 측정합니다. 이 도구는 복잡하고 다중적인 모양을 가진 그룹에 적합합니다.

"마법 같은" 조합

이 논문에서 가장 흥lı로운 발견 중 하나는 두 가지 도구인 Graph Cut Total Information과 Graph Cut Mutual Information을 결 함께 사용할 때 일어나는 현상입니다.

저자들은 이 두 가지를 함께 사용할 때, 단순히 막연하게 "좋은" 결과를 얻는 것이 아니라, 실제로 수십 년 동안 그룹을 분리하기 위해 사용되어 온 고전적인 수학 공식(소위 "aggregate mean-separation criterion")을 정확히 재현하고 있다는 것을 수학적으로 증명했습니다. 이것은 마치 새로운 하이테크 케이크 레시피가 알고 보니 할머니의 레시피를 다른 언어로 써놓은 것뿐이라는 사실을 발견한 것과 같습니다. 이는 이러한 현대적이고 복잡한 도구들이 기존의 수학을 대체하는 것이 아니라, 근본적인 작업을 수행하는 더 정교하고 유연한 방식임을 입증합니다.

증명: 합성 실험

자신들의 추측이 틀리지 않았음을 확인하기 위해, 저자들은 일련의 "통제된 합성 실험"을 수행했습니다. 한 번에 한 가지 요소만 바꿀 수 있는 조절 장치가 달린 가상의 세계를 만들었다고 상상해 보세요.

• 그들은 그룹의 "확산"을 높였고, Graph Cut 도구가 그에 맞춰 완벽하게 상승하는 것을 관찰했습니다.
• 그들은 그룹의 "모양"을 변경했고(원형 대신 긴 선 형태로), Log Det 도구가 변화하는 동안 Graph Cut 도구는 변하지 않는 것을 관 목격했습니다.
• 그들은 하나의 거대한 그룹과 하나의 아주 작은 그룹이 있는 세계를 만들었고, Facility Location 도구가 거대한 그룹은 무시한 채 거의 전적으로 작은 그룹에 집중하는 것을 관찰했습니다.

모든 테스트에서, 이 도구들의 행동은 그들의 새로운 이론과 완벽하게 일치했습니다. 수치들이 일치했습니다. 상관관계는 일부 사례에서 0.984에 달할 정도로 거의 완벽했습니다. 이는 도구들이 무엇을 하고 있는지에 대한 그들의 설명이 옳다는 높은 확신을 주었습니다.

이것이 왜 중요한가

이 논문 이전에는, 연구자가 이 강력한 SIM 도구들을 사용하고 싶다면 시행착오를 통해 어떤 것을 고를지 추측해야 했습니다. 균형 잡힌 데이터에는 잘 작동하지만, 불균형한 데이터에서는 처참하게 실패하는 도구를 고를 수도 있었습니다.

이제 우리는 지도를 가지고 있습니다.

• 그룹을 촘촘하고 둥글게 유지해야 한다면, Graph Cut을 사용하세요.
• 그룹의 모양과 확산을 고려해야 한다면, LogDet를 사용하세요.
• 무시되기 쉬운 희귀하고 찾기 힘든 클래스가 있다면, Facility Location을 사용하세요.
• 복잡하고 다중적인 모양의 그룹을 다루고 있다면, Facility Location Mutual Information을 사용하세요.

이 논문은 단순히 "이 도구들이 작동한다"라고 말하는 데 그치지 않습니다. 이 도구들이 "왜" 작동하는지, 그리고 "무엇을" 측정하고 있는지를 설명합니다. 이는 블랙박스를 명확한 지침 세트로 바꾸어 놓았으며, 과학자들이 이해하고자 하는 데이터의 특정한 모양에 맞춰 적절한 도구를 선택함으로써 더 나은 AI 시스템을 설계할 수 있게 해줍니다. 이는 표현 학습을 단순한 추측의 영역에서 정밀하고 원칙 있는 설계의 영역으로 한 단계 진전시킨 것입니다.