Have Graph -- Will Lift? The Case for Higher-Order Benchmarks

"Have Graph — Will Lift? The Case for Higher-Order Benchmarks"라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 풀어냅니다.

큰 그림: 더 나은 지도 만들기

로봇이 세상을 이해하도록 가르치려 한다고 상상해 보세요. 오랫동안 연구자들은 로봇을 가르칠 때 그래프를 사용해 왔습니다. 그래프는 사람, 도시, 원자 같은 점 (dots) 과 우정, 도로, 화학 결합 같은 선 (lines) 으로 연결된 단순한 지도라고 생각하면 됩니다. 이는 잘 작동해 왔지만, 세상은 단순히 점과 선으로만 이루어진 것보다 더 복잡합니다. 때로는 세 개, 네 개, 혹은 그 이상의 것들이 동시에 그룹으로 상호작용하기도 합니다.

이를 처리하기 위해 연구자들은 **위상 심층 학습 (Topological Deep Learning, TDL)**을 고안해냈습니다. 이는 모양, 구멍, 복잡한 구조를 포착하는 3D 모델로 2D 지도를 업그레이드하는 것과 같습니다. 이 논문은 우리의 도구(모델) 는 점점 정교해지고 있지만, 우리의 시험 문제(데이터셋) 는 여전히 과거에 머무르고 있다고 주장합니다.

문제: "리프팅 (Lifting)"의 함정

현재 대부분의 연구자들은 새로운 복잡한 3D 데이터를 가지고 있지 않습니다. 그래서 그들은 기존의 2D 그래프 데이터를 가져와서 그것을 3D 로 "리프팅 (lift)"하려고 시도합니다.

비유:
집의 평면 흑백 사진이 있다고 가정해 보세요. 로봇의 3D 건축 이해 능력을 테스트하고 싶지만, 실제 3D 모델이 없으므로 그 평면 사진을 가져와서 3D 형태를 "추측"해 보려 합니다.

• 전략 A: 사진에서 서로 가까이 서 있는 세 명의 사람 그룹 하나하나가 3D 공간에서 삼각형을 이룬다고 가정합니다.
• 전략 B: 공통된 친구를 공유하는 세 명의 사람 그룹 하나하나가 삼각형을 이룬다고 가정합니다.

두 전략 모두 평면 사진을 3D 형태로 변환하지만, 서로 다른 형태를 만들어냅니다. 논문은 이를 "리프팅"이라고 부릅니다.

문제점:
저자는 연구자들이 종종 이러한 추측 전략 중 하나를 선택해 모델을 실행한 후, "봐라! 내 모델이 더 잘 작동한다!"라고 말한다고 지적합니다. 하지만 그들은 거의 다음과 같은 질문을 하지 않습니다: "모델이 실제로 더 똑똑해진 것일까, 아니면 우리의 특정 추측 전략이 우연히 데이터에 잘 맞아떨어졌을 뿐일까?"

이는 미리 다 썰어둔 샐러드를 요리사에게 주어 요리를 테스트하는 것과 같습니다. 만약 그들이 훌륭한 샐러드를 만든다면, 그들이 잘 요리한 것일까, 아니면 재료가 이미 완벽했기 때문에 운이 좋았을 뿐일까? 논문은 "리프팅"이 종종 모델이 진정으로 학습하고 있는지 숨겨주는 미리 썰어둔 재료와 같다고 주장합니다.

해결책: 추측을 멈추고 수집을 시작하라

저자는 평면 사진을 3D 모델로 바꾸려는 시도를 멈추고, 대신 실제 3D 데이터를 수집해야 한다고 제안합니다.

비유:
사진에서 집이 어떻게 생겼는지 추측하는 대신, 건설 현장에 가서 실제 벽돌, 보, 방을 측정해야 합니다. 복잡하고 그룹 기반의 구조가 단순히 인위적으로 추가된 것이 아니라, 작업에 실제로 중요한 데이터셋이 필요합니다.

논문은 이러한 새로운 데이터셋을 위한 네 가지 규칙을 제시합니다:

1. 의미 있는 것: 복잡한 구조는 실제 작업에 반드시 중요해야 합니다.
2. 알려진 난이도: 작업이 쉬운지 어려운지 알아야 합니다 (단순한 기준선과 비교함으로써).
3. 표준화된 것: 모든 사람이 동일한 테스트 분할을 사용하여 결과를 공정하게 비교할 수 있어야 합니다.
4. 유지 관리되는 것: 데이터는 사라지지 않도록 안전하게 저장되어야 합니다 (더 이상 작동하지 않는 웹사이트의 파일처럼).

새로운 프로젝트: MANTRA

이것이 가능함을 증명하기 위해 저자와 그의 팀은 MANTRA라는 새로운 데이터셋을 만들었습니다.

비유:
MANTRA 를 추상적인 레고 구조물의 도서관이라고 생각하세요.

• 대부분의 다른 데이터셋은 페인트칠하는 방법 (특징/좌표) 에 대한 지시사항과 함께 레고 벽돌을 제공합니다.
• MANTRA 는 연결 관계만 제공합니다: "벽돌 A 는 벽돌 B 와 연결되고, 이는 벽돌 C 와 연결된다." 공간상의 위치나 색깔은 알려주지 않습니다.

AI 의 과제는 이러한 추상적인 연결 관계를 보고 다음과 같은 질문에 답하는 것입니다:

• "이 모양은 구체입니까, 도넛입니까?"
• "이 모양에 구멍이 있습니까?"

왜 이것이 어려운가요?
AI 는 "모양"을 볼 수 없기 때문입니다 (좌표가 없으므로). 대신 연결의 논리를 이해해야 합니다. 논문은 가장 똑똑한 최신 AI 모델조차 이에 어려움을 겪고 있음을 발견했습니다. 그들은 지역적 연결을 세는 것 (예: "이 벽돌은 몇 개의 이웃을 가지고 있는가?") 은 잘하지만, 전체적인 모양을 이해하는 것 (예: "이것은 구체인가?") 은 서툴러요.

결론: 우리는 이제 막 시작했습니다

논문은 우리가 이 여정의 아주 초기 단계에 있다고 결론지었습니다.

• 현재 상태: 우리의 모델은 사실을 암기하는 것은 잘하지만 근본 원리를 이해하는 것은 서툰 학생들과 같습니다.
• 목표: 우리는 모델이 표면적인 패턴뿐만 아니라 우주의 깊은 구조적 규칙을 배우도록 강제하는 더 나은 "교과서"(데이터셋) 가 필요합니다.

저자는 커뮤니티가 "리프팅"된 데이터 (2D 에서 3D 를 추측하는 것) 에 의존하는 것을 멈추고, 이러한 새로운 "본질적으로 고차원적인" 데이터셋을 구축하고 공유하기 시작할 것을 촉구합니다. 그래야만 우리의 AI 가 평면 사진을 바탕으로 추측하는 것이 아니라, 실제로 3D 로 세상을 보도록 학습하고 있는지 확신할 수 있습니다.