컴퓨터가 이웃과 대화하며 학습하는 세상을 상상해 보십시오. 이것이 바로 데이터를 사회적 네트워크처럼 다루는 인공지능의 한 분야인 **그래프 신경망(Graph Neural Networks, GNN)**의 핵심입니다. GNN은 단일 사진이나 숫자 목록을 보는 대신, 사물들이 어떻게 연결되어 있는지를 봅니다. GNN을 복잡한 주제를 이해하기 위해 친구들의 말을 듣고 있는 학생이라고 생각해 보십시오. 만약 학생이 바로 옆에 앉은 사람하고만 대화한다면, 그 학생은 당장 눈앞의 교실 상황에 대해서는 많이 배울 수 있습니다. 하지만 교실 뒤쪽에서 속삭이는 비밀을 이해해야 한다면, 그는 "야, 다음 사람한테 전해줘..."라며 메시지를 줄줄이 전달해야 합니다.

이 디지털 형태의 '전화기 놀이'에서, 네트워크는 노드에서 노드로(사람에서 사람으로) 정보를 전달합니다. 목표는 모든 노드가 현명한 결정을 내릴 수 있을 만큼 충분한 맥로(context)를 모으는 것입니다. 하지만 함정이 있습니다. 만약 메시지가 너무 멀리 이동해야 하거나, 너무 많은 사람이 자신들의 이야기를 하나의 아주 작은 쪽지에 억지로 구겨 넣으려 한다면, 원래의 의미는 뭉개지고 맙니다. 정보는 흐릿하고 구별 불가능한 덩어리가 됩니다. 긴 거리의 메시지가 작고 쓸모없는 패킷으로 압착되는 이 특정한 문제를 과학자들은 **오버스쿼싱(Over-squashing)**이라고 부릅니다. 이는 마치 거대한 도서관의 전체 역사를 단 하나의 포스트잇에 담으려는 것과 같습니다. 세부 사항은 사라지고, 컴퓨터는 혼란에 빠집니다.

"Exposition on Over-squashing Problem of GNNs"라는 제목의 이 논문은 연구자들이 이 '포스트잇 문제'를 해결하기 위해 작성한 방대한 가이드북입니다. 저자인 Dai Shi와 그의 팀은 지금까지 모은 모든 단서, 이론, 그리고 시도된 해결책들을 수집한 탐정 역할을 합니다. 그들은 단순히 문제를 지적하는 데 그치지 않고, 혼돈을 정리합니다. 그들은 왜 스쿼싱이 발생하는지 정확히 설명하고, 사람들이 이를 해결하기 위해 사용하는 다양한 방식들을 분류하며, 무엇보다도 우리가 아직 스쿼싱이 얼마나 심한지 측정할 완벽한 자(ruler)를 가지고 있지 않다는 점을 인정합니다. 그들은 어떤 무기가 효과적인지, 어떤 무기가 역효과를 낼 수 있는지, 그리고 여전히 미스터리가 남아 있는 곳이 어디인지를 보여주며 전장을 지도화합니다.

거대한 정보의 압착 (The Great Information Squeeze)

이 논문을 이해하려면 먼저 '압착(squash)'을 시각화해야 합니다. 깊은 신경망에서 정보는 여러 층을 통해 이동합니다. 메시지가 길고 좁은 복도 한쪽 끝에서 시작한다고 상상해 보십시오. 메시지가 줄을 따라 이동함에 따라, 그것은 점점 더 좁아지는 일련의 문들을 통과해야 합니다. 끝에 도달할 때쯤이면, 메시지는 너무 단단하게 압축되어 원래 무엇을 말했는지 알기 어려워집니다. 논문은 이를 수학적으로 오버스쿼싱(OSQ) 점수로 정의합니다. 이는 한 노드의 최종 이해도가 먼 곳에 있는 노드의 초기 정보에 얼마나 의존하는지를 측정하는 척도입니다. 점수가 낮다면 연결이 끊어진 것입니다. 즉, 먼 노드의 목소리가 너무 작아서 들리지 않는 상태를 의미합니다.

저자들은 이것이 단순한 이론적 우려가 아니라고 설명합니다. 이는 그래프 자체의 형태 때문에 발생합니다. 어떤 그래프들은 '병목 현상(bottlenecks)'을 가지고 있습니다. 즉, 두 개의 크고 북적이는 섬을 연결하는 좁은 다리와 같습니다. 정보가 이 다리를 건너려고 할 때, 정보는 정체됩니다. 논문은 우리가 '오버스무딩(Over-smoothing, 모두가 똑같은 소리를 내게 되는 현상)'이라는 다른 문제를 측정하는 좋은 방법들을 가지고 있는 반면, 오버스쿼싱을 측정하는 것은 훨씬 더 까다롭다는 점을 강조합니다. 이는 마치 허리케인 속에서 특정 속삭임이 얼마나 사라졌는지 측정하려는 것과 같습니다. 우리는 유효 저항(Effective Resistance)(두 지점 사이의 전류 흐름이 얼마나 어려운지를 측정하는 전기 공학 개념에서 빌려온 것)이나 통행 시간(Commute Time)(무작위 보행자가 A에서 B로 갔다가 다시 돌아오는 데 걸리는 시간) 같은 도구들을 가지고 있지만, 이것들은 상한선(upper bounds)일 뿐 완벽한 자는 아닙니다.

세 가지 해결사 가문 (The Three Families of Fixers)

이 논문의 가장 큰 기여는 오버스쿼싱을 해결하려는 다양한 시도들을 세 가지 뚜렷한 가문으로 분류한 것입니다. 이것들을 좁은 복도를 넓히기 위한 세 가지 서로 다른 전략이라고 생각하십시오.

1. 공간적 재구성자 (Spatial Rewirers - 지역 설계자들)
이 방법들은 그래프의 국소적인 형태를 살펴보고 병목 현상이 발생하는 곳에 새로운 다리를 놓으려고 시도합니다. 이들은 **곡률(Curvature)**이라는 개념을 사용합니다. 기하학에서 곡률은 표면이 안으로 굽었는지 밖으로 굽었는지를 알려줍니다. 그래프에서 '음의 곡률(negative curvature)' 에지는 두 붐비는 섬을 연결하는 좁은 다리와 같습니다. 저자들은 이러한 음의 곡률을 가진 에지들이 스쿼싱을 일으키는 주범이라고 설명합니다.

• 해결책: SDRF나 SJLR 같은 방법들은 이러한 좁은 다리들을 식별하고 추가적인 에지를 더해 이를 넓힙니다. 또한, 정보가 너무 탁해지는 것(오버스무딩)을 막기 위해 '양의 곡률(positive curvature)' 에지(혼잡하고 중복된 루프와 같은 것)를 제거하기도 합니다.
• 함정: 이는 섬세한 균형이 필요합니다. 다리를 너무 많이 놓으면 그래프가 너무 조밀해져서 모두가 서로에게 말을 걸게 되고, 이는 오버스무딩으로 이어집니다. 논문은 이러한 방법들이 효과적이긴 하지만, 자동차가 움직이고 있는 와중에 도시의 교통 지도를 재설계하는 것처럼 계산 비용이 많이 든다고 언급합니다.

2. 스펙트럴 재구성자 (Spectral Rewirers - 글로벌 플래너들)
공간적 팀이 국소적인 이웃을 본다면, 스펙트럴 팀은 멀리서 그래프의 '분위기(vibe)'를 봅니다. 이들은 그래프의 스펙트럴 갭(Spectral Gap)(전체 그래프가 얼마나 잘 연결되어 있는지를 나타내는 척도)과 관련된 수학을 사용합니다.

• 해결책: FOSR나 GOKU 같은 방법들은 그래프의 전역적 구조를 최적화하려고 노력합니다. 이들은 특정 병목 현상에 집중하기보다는, 전체 네트워크를 가로지르는 정보의 흐름을 개선하는 방식으로 에지를 추가합니다. 이들은 그래프의 '소리'가 어디에서나 명확하게 울려 퍼지기를 원합니다.
• 함정: 때때로 전역적인 흐름을 고치려다 실수로 국소적인 이웃 구조를 파괴할 수도 있습니다. 이는 고속도로를 너무 넓혀서 그곳으로 이어지는 작고 아늑한 골목길들이 삼켜지게 만드는 것과 같습니다.

3. 암시적 재구성자 (Implicit Rewirers - 마법사들)
이 그룹은 매우 흥មាន한 그룹입니다. 이들은 실제로 그래프의 구조를 바꾸지 않습니다. 대신, 정보가 어떻게 이동하는지를 바꿉니다.

• 해결책: 단순히 복도를 걷는 것이 아니라 순간이동을 할 수 있거나, 자신이 걸어온 모든 발걸음을 '기억'하는 메신저를 상상해 보십시오. 그래프 트랜스포머(Graph Transformers) 같은 방법들은 '어텐션(attention)'을 사용하여 모든 노드가 다른 모든 노드와 직접 대화할 수 있게 함으로써 병목 현상을 효과적으로 우회합니다. 확산 모델(Diffusion models) 같은 다른 방법들은 정보가 열이나 물처럼 자연스럽게 퍼져나가 빈틈을 채우도록 합니다. 심지어 물리적으로 에지를 추가하지 않고도 멀리 떨어진 부분들을 연결하는 중심 허브 역할을 하는 '가상 노드(Virtual Nodes)'를 사용하기도 합니다.
• 함정: 강력하지만, 이 방법들은 컴퓨터 자원을 많이 소모할 수 있습니다. 또한, 눈에 보이는 그래프를 바꾸지 않기 때문에 왜 작동하는지 설명하기 어려울 때가 있습니다.

거대한 트레이드오프와 사라진 자 (The Great Trade-Off and The Missing Ruler)

이 논문의 가장 중요한 통찰 중 하나는 **트레이드오프(Trade-off)**입니다. 저자들은 오버스쿼싱을 고치는 것이 종종 오버스무딩을 악화시킨다는 점을 지적하며, 이는 시소와 같다고 말합니다. 스쿼싱을 해결하기 위해 연결을 너무 많이 추가하면 모두가 똑같은 소리를 내게 될 위험이 있습니다. 반대로, 개성을 유지하기 위해 연결을 너무 많이 쳐내면 먼 거리의 메시지를 잃을 위험이 있습니다. 논문은 가장 좋은 방법은 '곡률'을 사용하여 정확히 어디에 다리를 놓고 어디에 벽을 세울지 알 수 있는, 이 외줄 타기를 잘하는 방법이라고 제안합니다.

그러나 논문은 솔직한 불확실성을 남기며 끝을 맺습니다. 이 모든 영리한 전략에도 불구하고, 우리는 여전히 오버스쿼싱을 측정할 완벽하고 보편적인 방법을 가지고 있지 않습니다. 우리에게는 상한선(얼마나 심할 수 있는지에 대한 추정치)은 있지만, 정보가 정확히 얼마나 손실되었는지를 알려주는 정밀한 숫자는 없습니다. 저자들은 더 나은 자가 없다면 새로운 방법이 정말 더 나은 것인지 아니면 그저 운이 좋았던 것인지 알기 어렵다고 주장합니다. 또한 현재 이 방법들을 증명하는 데 사용되는 많은 '테스트' 데이터셋들이 사실 너무 단순하며, 국소적인 정보에 의존하고 있어 장거리 기술을 제대로 테스트하지 못한다고 지적합니다. 그들은 AI가 진정으로 실력을 발휘할 수 있도록 강요하는 더 강력한 벤치마크를 요구합니다.

열린 질문들 (The Open Questions)

마지막으로, 논문은 미래를 위한 미스터리 목록을 남깁니다.

• 얼마나 깊어야 충분한가? 층을 더 많이 추가하는 것이 메시지를 더 멀리 전달하는 데 도움이 된다는 것은 알지만, 결국에는 스쿼싱됩니다. 완벽한 층의 개수가 존재할까요?
• 그 방법들이 정말 효과가 있는가? 일부 연구는 이러한 재구성 방법들의 '마법'이 방법 자체의 결과가 아니라 매개변수 조정(tuning)의 결과일 수 있다고 시사합니다. 우리는 이를 확실히 해야 합니다.
• 하이퍼그래프(Hypergraphs)는 어떠한가? 이 작업의 대부분은 표준 그래프에 대한 것입니다. 하지만 만약 세 사람이 동시에 대화하는 단톡방처럼 연결이 더 복잡하다면 어떻게 될까요? 논문은 오버스쿼싱이 거기서 훨씬 더 심각할 수 있으며, 이를 해결하기 위한 새로운 도구가 필요하다고 제안합니다.

요약하자면, 이 논문은 복잡한 풍경의 지도입니다. 이 논문은 오버스쿼싱이 실제적이고 끈질긴 문제이며, 우리의 그래프 기반 AI가 얼마나 똑똑해질 수 있는지를 제한한다는 것을 알려줍니다. 사람들의 세 가지 주요 경로를 보여주고, 함정(오버스무딩과의 트레이드오프 등)에 대해 경고하며, 우리가 여전히 진전을 측정할 더 나은 도구가 필요함을 인정합니다. 이는 다음 세대의 연구자들이 더 나은 자를 만들고, 더 스마트한 다리를 설계하여, 마침내 디지털 세계를 가로질러 메시지가 자유롭게 흐르게 하라는 행동 촉구입니다.