A Circuit for In-Context Learning
이 논문은 트랜스포머 모델에서 중간층 헤드들이 레이블-클래스 매핑을 저장하고 상위층 헤드들이 쿼리 일치에 따라 이를 검색하는 게이트형 연상 메모리 메커니즘을 구현함으로써, 퓨샷 문장 분류를 위한 인컨텍스트 러닝을 가능하게 하는 특정하고 보존된 신경 회로를 식별하고 인과적으로 검증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
언어 모델을 수십억 개의 문장으로 훈련된 방대한 인간 지식의 도서관이라고 상상해 보십시오. 여러분이 질문을 던지면, 모델은 보통 자신이 암기한 내용을 바탕으로 답합니다. 하지만 모델이 수행할 수 있는 특별한 기술인 '인컨텍스트 러닝(in-context learning, 문맥 내 학습)'이라는 것이 있습니다. 만약 여러분이 질문을 하기 직전에, 가상의 레이블과 함께 짝지어진 수십 개의 문장 예시를 보여주며 새로운 작업의 패턴을 보여준다면, 모델은 내부 가중치를 변경하거나 재학습하지 않고도 즉각적으로 그 패턴을 파악하여 여러분의 새로운 문장에 적용할 수 있습니다. 모델은 단 한 번의 읽기만으로 규칙을 찾아내는 것입니다. 수년 동안 과학자들은 이런 현상이 일어난다는 사실은 알고 있었지만, 기계가 실제로 이를 어떻게 수행하는지는 알지 못했습니다. 결과는 볼 수 있었지만, 어두운 상자 안에서 돌아가는 톱니바퀴는 미스터리로 남아 있었습니다.
이제 한 연구팀이 그 상자를 열고 이 능력 뒤에 숨겨진 정확한 메커니즘을 밝혀냈습니다. 세 가지 서로 다른 대규모 언어 모델을 연구한 결과, 모델이 전통적인 의미에서 규칙을 '학습'하는 것이 아님을 발견했습니다. 대신, 모델은 프롬프트 자체 내부에 일시적인 메모리를 구축하며, 이 과정에서 특정 '어텐션 헤드(attention heads)'—네트워크 내의 특화된 처리 장치—를 사용하여 작가, 독자, 그리고 문지기 역할을 수행하게 합니다. 연구진은 모델이 여러분이 제공한 예시들을 '키-값(key-value) 메모리 시스템'으로 취급한다는 것을 발견했습니다. 여러분이 문장 뒤에 레이블을 붙여 보여주면, 모델은 방금 본 문장의 유형을 설명하는 '키(key)'를 쓰는 동시에, 해당 레이블의 정체를 특정 메모리 슬롯에 기록합니다. 나중에 모델이 최종 질문에 직면했을 때, 모델은 그 질문에 대한 코드를 계산하고, 이전에 저장했던 키들과 질문의 유형을 대조하여 임시 메모리에서 검색함으로써 적절한 레이벨을 찾아냅니다.
연구진은 어떤 부분이 필수적인지 확인하기 위해 서로 다른 프롬프트 간에 모델의 내부 활동 부품을 교체하는 방법을 사용하여, 이 과정을 단계별로 추적했습니다. 그들은 약 20개의 중간 계층 헤드가 '작가'로서 작동하여 각 시연 문장의 클래스를 키로 취해 다음 레이블의 메모리 슬롯에 저장한다는 것을 발견했습니다. 그다음, 약 90개의 상위 계층 헤드가 '독자'로서 작동합니다. 이 독자들은 메모리를 스캔하여 저장된 키가 현재 질문의 클래스와 일치하는 슬롯을 찾습니다. 일치하는 것을 찾으면, 그 슬롯으로부터 레이블을 복사하여 최종 답변으로 전달합니다. 그러나 이 검색 시스템이 항상 활성화되어 있는 것은 아닙니다. 연구진은 메모리를 읽을지 말지를 결정하는 '게이트(gate)'가 존재한다는 것을 발견했습니다. 이 게이트는 예시 중 어떤 레이블이 두 번 이상 나타났는지 확인합니다. 레이블이 반복되면 게이트가 열려 독자들이 메모리를 검색할 수 있게 합니다. 만약 반복되는 레이블이 없다면 게이트는 닫힌 상태를 유지하며, 이는 명확한 패턴이 존재하지 않을 때 모델이 무작위로 추측하는 것을 방지하는 행동입니다.
모델이 정확하게 답하도록 보장하기 위해, 또 다른 약 24개의 헤드가 '브레이크(brakes)' 역할을 합니다. 이 헤드들은 가장 최근에 본 레이블에 반하여 작동함으로써, 모델이 단순히 마지막 예시를 그대로 복사하는 현상(최신성 편향, recency bias)을 방지합니다. 이러한 브레이크가 없다면, 모델은 패턴을 무시하고 방금 본 마지막 레이블을 반복하는 경향을 보일 것입니다. 또한 연구진은 모델이 집중할 구체적인 대상이 없을 때 어텐션이 향하는 기본 위치인 '싱크(sink, 싱크)'에 의존한다는 사실도 발견했습니다. 게이트는 이 싱크에 대한 인력을 낮춤으로써 독자들이 실제 메모리 슬롯을 바라보도록 강제하는 방식으로 작동합니다.
이 발견이 특히 강력한 이유는 연구진이 단순히 행동을 관찰한 것에 그치지 않고, 연결을 끊어냄으로써 이를 증명했기 때문입니다. 작가들을 차단했을 때 모델은 키를 저장할 수 없었습니다. 독자들을 차단했을 때 모델은 키를 찾을 수 없었습니다. 게이트를 제거했을 때 모델은 패턴이 존재하지 않을 때도 메모리를 읽으려 시도했고, 이는 오류로 이어졌습니다. 연구진은 심지어 이 회로를 처음부터 직접 코딩한 아주 작은 버전을 만들어냈고, 그것이 예측대로 정확히 작동함을 확인하여, 이 특정 부분들이 해당 작업을 수행하기에 충분하다는 것을 입증했습니다. 또한 이 연구는 모델마다 수행하는 헤드의 종류는 약간씩 다르지만, 회로의 전체적인 구조는 동일하다는 점을 밝혀냈습니다.
가장 놀라운 발견 중 하나는 모델이 작업의 규모를 어떻게 다루는지에 관한 것입니다. 연구진은 모델이 하나의 강력한 헤드에 의존하여 모든 일을 처리하는 것이 아니라, 많은 헤드가 협력하여 작업을 분담한다는 것을 발견했습니다. 단 하나의 독자 헤드만으로는 최종 답변을 생성할 데 충분한 힘을 가질 수 없으며, 모델은 확신 있는 예측을 생성하기 위해 수십 개의 헤드로부터 나오는 결합된 출력이 필요합니다. 이것이 왜 모델이 이 작업을 위해 그렇게 많은 수의 헤드 집단을 사용하는지를 설명해 줍니다. 나아가, 연구는 모델이 커짐에 따라 문제를 해결하기 위해 새로운 부품을 발명하는 것이 아니라, 기존의 집단을 단순히 강화한다는 것을 보여주었습니다. 가장 최근의 예시에 의해 편향되는 것을 막는 '브레이크'는 더 큰 모델에서 더 강력해지며, 이것이 큰 모델들이 단어의 일반적인 의미에 의존하기보다 예시의 패턴을 더 잘 따르는 이유입니다.
이 연구는 인공지능이 문맥으로부터 학습하는 방식에 대한 우리의 이해를 변화시킵니다. 이는 모델이 마법처럼 규칙을 연역하거나 복잡한 수학적 업데이트를 수행하는 것이 아님을 시사합니다. 대신, 모델은 매우 조직적이고 기계적인 조회를 수행하고 있습니다. 정보를 임시 메모리에 쓰고, 패턴이 존재하는지 확인한 다음, 그 패턴에 기반하여 답을 검색하는 것입니다. 연구진은 이 메커니즘이 모델의 크기에 관계없이 일관되며, 다른 작업에 대해 미세 조정(fine-tuning)을 거친 후에도 생존한다는 것을 보여주었습니다. 몇 가지 예시로부터 배우는 능력은 신비로운 창발적 속성이 아니라, 측정 가능하고 조작 가능하며 이해할 수 있는 식별 가능한 구성 요소들로 구축된 구체적이고 추적 가능한 회로입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.