Exploring Geographic Relative Space in Large Language Models through Activation Patching

상상해 보세요. 이야기를 쓰고, 질문에 답하며, 거의 모든 것에 대해 대화할 수 있는 초지능 로봇이 있다고요. 우리는 이것들을 **대규모 언어 모델(LLMs)**이라고 부릅니다. 하지만 문제는 있습니다. 우리는 그 로봇이 어떻게 생각하는지 정확히 알지 못합니다. 질문을 넣고 답을 얻어내는 검은 상자 같은데, 안쪽의 기어들은 숨겨져 있는 것이죠.

이 논문은 바로 그 검은 상자 안을 엿보려는 탐정 팀과 같습니다. 구체적으로는 로봇이 지리, 예를 들어 '가깝다'와 '멀다'의 차이를 어떻게 이해하는지 살펴보는 것입니다.

탐정 도구: "활성화 패치 (Activation Patching)"

로봇이 어떻게 작동하는지 파악하기 위해 연구자들은 활성화 패치라는 도구를 사용합니다. 로봇의 뇌를 수백 명의 작업자 (레이어) 가 메시지를 전달하는 거대한 공장 조립선으로 생각해 보세요.

연구자들의 수법은 조립선의 특정 지점에서 메시지를 교체하는 것입니다.

1. 클린 시나리오: 로봇에게 "런던은 어디에 위치해 있나요?"라고 묻습니다. 로봇은 "런던은 ... 도시의 가까운 곳에 있습니다"라고 답합니다. (이것이 '클린'한 생각입니다.)
2. 오염된 시나리오: "런던은 어디에 위치해 있나요?"라고 묻되, 이번에는 로봇이 거리를 생각하도록 강제합니다. 예를 들어 "런던은 ... 도시로부터 500 마일 떨어진 곳에 있습니다"라고 생각하게 만드는 것이죠. (이것이 '오염된' 생각입니다.)
3. 교체: 이제 1 단계에서 얻은 '클린'한 생각을 가져와서, 로봇이 2 단계의 '오염된' 질문을 처리하는 도중에 로봇의 뇌에 비밀리에 삽입합니다.

만약 로봇이 갑자기 '500 마일' 대신 다시 '가깝다'에 대해 이야기하기 시작한다면, 연구자들은 '가깝다'라는 개념을 이해하는 공장 내의 정확한 작업자 (또는 레이어) 가 누구인지 알게 됩니다. 만약 교체가 아무런 효과가 없다면, 그 작업자는 지리와는 상관없다는 뜻입니다.

실험: "가깝다" 대 "멀다"

이 팀은 249 개의 서로 다른 영국 도시를 사용하여 특정 로봇 모델 (Gemma 2 2B) 에 대해 이 실험을 테스트했습니다. 그들은 로봇이 "5 마일", "10 마일", "1,000 마일"과 같은 구체적인 거리와 비교하여 **"가깝다"**라는 단어를 어떻게 처리하는지 확인하고 싶었습니다.

그들은 작은 문제를 발견했습니다. '가깝다'는 한 단어이지만 '500 마일'은 세 단어라는 점이죠. 레고 블록 하나를 레고 탑 전체로 교체하려는 것과 같습니다. 연구자들은 추가 단어를 추가하여 이를 해결하려 시도했지만, 상황이 너무 복잡해졌으므로 단순한 교체로 진행하며 약간의 불일치는 감수하기로 했습니다.

그들이 발견한 것

이러한 교체 동안 로봇의 뇌가 어떻게 점등되는지 지켜보면서 그들은 몇 가지 흥미로운 패턴을 발견했습니다.

• "숫자" 영역: 로봇이 숫자 (예: "200 마일"의 "200"이라는 단어) 를 읽은 직후 뇌 활동을 교체했을 때, 로봇은 거리에 대한 생각을 완전히 잊어버리고 다시 "가깝다"에 대해 생각하기 시작했습니다. 로봇의 뇌에는 숫자를 처리하는 전용 부위가 있는 것으로 보입니다.
• "거리" 영역: "마일"과 "떨어져 있다"라는 단어에 대한 활동을 교체했을 때, 그 효과는 더 흩어져 있었습니다. 이는 "상대적 공간"(사물들이 서로 얼마나 떨어져 있는지) 에 대한 아이디어가 로봇 뇌의 한 곳만이 아니라 여러 다른 부분에 분산되어 있음을 시사합니다.
• 큰 거리가 더 중요하다: 로봇은 작은 거리보다 거리가 매우 클 때 (수백 마일 등) 훨씬 더 강하게 반응했습니다. 로봇은 "1,000 마일"을 "5 마일"과 매우 다르게 취급하는 것으로 보입니다.
• "100"과 "1,000"의 특이점: 흥미롭게도 로봇은 "100 마일"과 "1,000 마일"이라는 구문에 약간 혼란을 느꼈습니다. 이러한 경우 교체 효과가 그다지 잘 작동하지 않았습니다. 연구자들은 이것이 로봇이 이러한 큰 반올림된 숫자들을 정확한 측정치보다는 모호한 개념으로 처리하거나, 이를 위해 다른 정신적 지도를 사용하기 때문일 수 있다고 생각합니다.

결론

이 논문은 아직 이러한 로봇을 항해나 도시 계획에 사용하는 방법을 알려주지는 않습니다. 대신 이는 기초 연구입니다. 대규모 언어 모델은 지리를 이해하는 방식을 가지고 있지만, 그것은 뇌의 서로 다른 부분들이 함께 작동하는 복잡한 망이라는 것을 보여줍니다.

이 "수술"(활성화 패치) 을 사용하여 연구자들은 로봇이 혼란을 겪거나 "가깝다"와 "멀다"의 차이를 이해하는 정확한 위치를 찾아낼 수 있음을 증명했습니다. 이는 이러한 AI 도구가 실제 세계의 지리 작업을 처리하도록 허용하기 전에 안전하고 신뢰할 수 있도록 보장하기 위한 중요한 첫걸음입니다.