Do Large Language Models Play Six Degrees of Separation? Measuring Topological Compression in Long-Context Manifolds

모든 책이 순수한 의미의 언어로 쓰여 있고 서가가 수 마일씩 뻗어 있는 거대한 도서관을 상상해 보십시오. 수십 년 동안 인공지지능을 연구하는 과학자들은 이 디지털 지능들이 어떻게 이 거대한 공간을 탐색하는지 궁금해해 왔습니다. 그들은 그 답이 인간 뇌의 뉴런에서부터 지구상의 사람들이 연결된 방식에 이르기까지 모든 곳에서 발견되는 패턴인 '작은 세상(small-world)' 현상이라 알려진 개념에 있다고 오랫동안 의심해 왔습니다. 이 패턴은 아무리 멀리 떨어져 있는 것처럼 보이는 두 대상이라도, 대개 놀라울 정도로 짧은 연결 고리, 즉 종종 6단계 이내의 단계로 연결되어 있음을 시사합니다. 현대 연구자들의 질문은 오늘날 가장 진보된 챗봇을 구동하는 시스템인 대규모 언어 모델의 복잡한 내부 기계 장치가 이와 동일하게 효율적인 방식으로 스스로를 조직하는지, 아니 아니면 단순히 시작부터 끝까지 느리고 선형적인 행진을 하며 정보를 처리하는 것인지에 관한 것입니다.

방글라데시 브랙 대학교(BRAC University)의 한 연구자가 이제 이 답을 찾기 위해 이 디지털 지능의 내부를 직접 들여다보았습니다. 때때로 잘못된 단어에 고착될 수 있는 스포트라이트 역할을 하는 모델의 어텐션(attention) 메커니즘을 관찰하는 대신, 그들은 모델 자체의 생각 속에 숨겨된 기하학적 구조를 매핑했습니다. 그들은 모델의 내부 상태를 각 점이 단어나 아이디어를 나타내는 점들의 지형으로 취급했습니다. 이 점들 사이의 거리를 측정함으로써, 그들은 모델이 직선으로 생각하지 않는다는 것을 발견했습니다. 대신, 정보가 시스템 내부로 깊숙이 이동함에 따라, 모델은 관련 없는 아이디어들 사이의 방대한 거리를 조밀하고 탐색 가능한 네트워크로 압축하며 자신의 내부 세계를 능동적으로 재형성합니다.

이를 테스트하기 위해, 연구자는 모델에 수백 개의 단어가 포함된 긴 이야기를 입력했습니다. 그런 다음 그들은 이야기 속에서 의미상으로는 최대한 다르고 텍istic상으로도 최대한 멀리 떨어져 있는 두 단어, 예를 들어 모기에 관한 단어와 컴퓨터 보안 해킹에 관한 단어를 선택했습니다. 문장의 기본적인 문법과 구조를 여전히 학습 중인 모델의 초기 레이어에서, 이 두 단어는 완전히 고립되어 있었습니다. 그들을 연결하는 경로는 존재하지 않았습니다; 모델의 내부 지도는 파편화되어 있었고, 아이디어 사이의 거리는 무한했습니다. 그러나 정보가 모델의 레이어 깊숙이 이동함에 따라, 극적인 변화가 일어났습니다. 모델은 갑자기 내부 연결을 재구성하여, 이 멀리 떨어진 두 개념 사이에 다리를 놓았습니다.

연구자는 이러한 변화가 점진적인 것이 아니라 스위치를 켜는 것과 같이 갑작스럽다는 것을 발견했습니다. 정보가 모델의 가장 깊은 레이어에 도달하면, 서로 관련 없는 두 단어는 불과 몇 단계의 경로로 연결되었습니다. 실험에서 모델은 원래 텍스트에서 두 단어가 50개의 토큰만큼 떨어져 있든 250개의 토큰만큼 떨어져 있든 관계없이, 일관되게 이 먼 아이디어들을 6단계 미만으로 연결해 냈습니다. 이는 모델의 심층 추론 레이어가 자연스럽게 작은 세상 네트워크로 스스로를 조직하여, 인간이 연결하는 데 오랜 시간이 걸릴 수 있는 개념들 사이를 빠르고 추상적인 도약으로 연결할 수 있음을 확인시켜 줍니다.

또한 이 연구는 이러한 기하학적 구조가 단순한 호기심이 아니라 오류를 감지하기 위한 실질적인 도구임을 밝혀냈습니다. 연구자는 질문에 답하기 위해 문서에서 사실을 검색하는 시스템에 이 방법을 적용했습니다. 모델이 텍스트를 바탕으로 정답을 냈을 때, 소스 문서와 정답 사이의 내부 경로는 짧고 직접적이었으며, 작은 세상 네트워크의 조밀한 구조를 유지했습니다. 하지만 모델이 환각(hallucination)을 일으켜 텍의에 없는 사실을 지어낼 때, 내부 구조는 붕괴되었습니다. 소스와 정답 사이의 경로는 끊어지거나 믿을 수 없을 정도로 길어졌으며, 진실된 생성에서 보이는 효율적인 연결성을 잃었습니다. 이는 모델의 내부 연결 형태를 측정하는 것만으로도, 모든 단어를 데이터베이스와 일일이 대조할 필요 없이 인공지능의 신뢰성을 확보할 수 있는 새로운 방법을 제공한다는 것을 시사합니다.

궁극적으로, 이 연구는 이 강력한 시스템들이 어떻게 추론하는지에 대한 명확한 그림을 제공합니다. 그들은 단순히 문장을 처음부터 끝까지 읽고 답변을 쓰는 것이 아닙니다. 대신, 그들은 아무리 긴 맥락이라 할지라도 전체 맥락을 받아들여, 어떤 두 아이디어라도 빠르게 도달할 수 있는 조밀하고 고도로 연결된 공간으로 접어 넣습니다. 이 발견은 어텐션이 모델을 이해하는 유일한 방법이라는 오래된 관념을 넘어, 모델의 진정한 힘이 그들의 생각 속에 숨겨진 기하학, 즉 자연에서 발견되는 효율적인 네트워크를 닮은 기하학에 있다는 것을 보여줍니다.