Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form
이 논문은 언어 모델의 잠재 변수 접근에 관한 '입구 게이트(admission gate)' 가설에 이의를 제기하며, 대신 수요 기반 주의 메커니즘이 특정 중간 깊이 구간 내에서 정보를 수집하여 변수를 언어적으로 보고 가능하게 만드는 과정을 보여주는데, 이는 해당 변수가 최종 답변을 도출하는 데 실제로 활용되는 유용성과는 구별되는 과정이다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대적인 언어 모델의 거대하고 정적인 구조 내부에는, 기계가 단 한 마디의 말을 내뱉기 훨씬 전부터 이미 존재하는 숨겨진 정보의 세계가 존재한다. 이 모델들은 방대한 텍스트의 바다를 통해 훈련되며, 언어, 논리, 사실의 패턴을 엮어내며 다음에 올 내용을 예측하는 법을 배운다. 모델에게 질문이 던져졌을 때, 모델은 단순히 데이터베이스를 검색하는 것이 아니라, 해당 과업에 필요한 구체적인 의미를 담고 있는 잠재 변수인 답변의 내부 표현을 구축한다. 수년 동안 연구자들은 이 숨겨진 정보가 어떻게 가시화되는지 궁금해해 왔다. 지배적인 직관은 단순한 메커니즘을 시사했다. 즉, 정보는 항상 모델의 내부 메모리에 존재하며, 문이 열려 밖으로 나오기를 기다리고 있다는 것이다. 이 관점에서 모델은 이미 책을 선반에 꽂아두고 있다가, 요청이 들어오면 단순히 그 책을 건네주기로 결정하는 사서처럼 행동한다.
캘리포니아 대학교 산타크루즈의 한 연구자는 Qwen3.6이라는 거대 언어 모델을 사용하여 이 '문(gate)'의 개념을 테스트하기 위해 나섰다. 그들은 모델에게 정확히 동일한 이야기를 제공하되, 그 이야기에 대해 서로 다른 질문을 던지는 일련의 실험을 설계했다. 어떤 경우에 모델은 퍼즐을 풀기 위해 이야기 속의 특정 정보를 사용해야 했고, 다른 경우에는 그 정보를 직접 보고해야 했으며, 대조군으로서의 경우에는 이야기의 지식을 전혀 필요로 하지 않는 질문을 받았다. 모델의 처리 단계마다 내부 상태를 정밀하게 측정함으로써, 그들은 숨겨진 정보가 언제, 어떻게 최종 답변을 위해 가용해지는지를 정확히 파악할 수 있었다.
그들이 발견한 것은 단순한 게이트 이론을 뒤엎는 것이었다. 숨겨진 정보는 모델의 메모리에 머물며 해제되기를 기다리고 있었던 것이 아니었다. 대신, 모델은 자신의 내부 스트림 중 먼 곳으로부터 정보를 능동적으로 수집하여, 답변이 형성될 특정 지점으로 운송했다. 이 수집 과정은 모든 곳에서 혹은 항상 일어나는 것이 아니었다. 이는 모델의 처리 계층 중 중간 부분인, 64개 층 중 대략 36번째와 42번째 층 사이의 매우 특정한 창(window) 안에서 발생했다. 이 창 아래에서 정보는 존재했으나 여 trình까지 살아남을 수 없었고, 이 창 위에서 정보는 이미 사라졌거나 파괴된 상태였다. 모델은 실제로 과업이 요구할 때만 이 수집 과정을 수행했다. 모델이 이야기에 대한 지식을 필요로 하지 않는 질문을 받았을 때, 수집 과정은 거의 일어나지 않았으며, 정보가 필요할 때보다 7배나 적은 노력을 집중했다.
그들은 이 운송이 모델의 어텐션(attention) 메커니즘, 즉 입력의 어느 부분에 집중할지를 결정하는 부분에 의해 거의 전적으로 수행된다는 것을 발견했다. 로컬 프로세서처럼 작동하는 또 다른 주요 구성 요소인 피드 포워드 네트워크(feed-forward network)는 정보 이동을 돕지 않았으며, 오히려 수집이 일어나는 중간 계층에서는 운송을 방해하는 방향으로 작용했다. 정보는 정적인 위치에서 드러나는 것이 아니라, 창고에서 배송 트럭으로 패키지를 옮기는 배달원처럼 물리적으로 이동하고 있었다. 이 움직임은 매우 정밀하여, 모델은 중간 계층에서 정보를 다른 어느 곳보다 17배 더 강한 강도로 집중시킬 수 있었다.
결정적으로, 그들은 모델의 내부 상태에서 보이는 정보의 양이 그 정보가 최종 답변에 얼마나 유용한지와 항상 일치하지는 않는다는 점을 보여주었다. 그들은 세 가지 서로 다른 부분이 내부 신호를 거의 동일한 양만큼 변화시킬 수 있음에도 불구하고, 실제 최종 답변에 미치는 영향은 7배까지 차이가 난다는 것을 발견했다. 이는 모델의 내부 상태에서 강한 신호가 관찰된다는 것만으로는 모델이 실제로 그 정보를 올바르게 사용하고 있는지 알기에 충분하지 않음을 의미한다. 신호의 크기가 모델이 생각하는 방식의 전부는 아니다.
이 연구는 또한 이 수집 창(gathering window)이 모델 설계의 근본적인 특징이며, 62개 층을 가진 밀집형 아키텍처를 포함한 다양한 유형의 모델에서 동일한 상대적 깊이에서 나타난다는 것을 밝혔다. 그들은 정보가 단순히 존재할 뿐만 아니라 인과적으로 필수적임을 확인했다. 만약 중간 계층에서의 운송을 차단하면 모델은 정답을 맞히는 데 실패했다. 그러나 그들은 또한 이러한 수집이 필요조건이긴 하지만 그 자체로 충분조건은 아니라는 점에도 주목했다. 모델은 최종 답변을 생성하기 위해 여전히 다른 계산들을 수행해야 했다. 이 연구는 모델이 정보가 들어오기를 기다리며 머무는 정적인 작업 공간을 가지고 있지 않음을 시사한다. 대신, 모델은 필요한 조각들을 동적으로 조립하며, 과업이 요구할 때만 그것들을 제자리로 이동시킨다. 이는 이전에 상상했던 것보다 훨씬 더 능동적이고 선택적인 과정이다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.