← 최신 논문
💬 자연어 처리

A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination

이 논문은 인컨텍스트 학습(in-context learning)과 아웃오브컨텍스트 환각(out-of-context hallucination) 모두를 역할 정보가 내부적으로 어떻게 표현되고 집계되는지의 결과로 설명하는 통합된 메커니즘 프레임워크를 제안하며, 규칙 준수의 성공 여부와 환각 발생 여부는 주요 결정 지점에서의 역할 범위 기여도의 크기와 일관성에 달려 있음을 입증한다.

원저자: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

게시일 2026-11-19
📖 4 분 읽기☕ 가벼운 읽기

원저자: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델은 새로운 세대의 인공지능을 뒷받침하는 엔진으로, 프롬프트를 읽고 요구에 따라 인간과 유사한 텍스트를 생성할 수 있습니다. 이들의 가장 찬사받는 능력 중 하나는 인컨텍스트 러닝(in-context learning)인데, 이는 모델이 프롬프트에 제공된 예시로부터 특정 규칙을 추론하고 이를 충실히 따를 수 있는 능력입니다. 만약 사용자가 모델에게 기록 목록을 JSON 객체로 요약하라고 요청하면, 모델은 그 형식을 학습하여 완벽하게 적용할 수 있습니다. 그러나 이와 동일한 시스템는 환각(hallination)이라고 알려진 좌절스러운 결함으로 인해 고통받기도 합니다. 때때로 제공된 근거를 바탕으로 질문에 답하라는 요청을 받으면, 모델은 바로 눈앞에 있는 사실들을 무시하고 텍ền에 의해 뒷받받되지 않는 세부 사항들을 지어내곤 합니다. 이는 당혹스러운 모순을 만들어냅니다. 어떻게 동일한 기계가 방금 배운 규칙에는 그토록 순종적이면서, 주어진 사실에는 그토록 부주의할 수 있는 것일까요? 수년 동안 연구자들은 이 두 가지 행동을 별개의 현상으로 취급하며 분리하여 연구해 왔습니다. 하지만 이러한 분리는 왜 모델이 한 사례에서는 성공하고 다른 사례에서는 실패하는지에 대한 이해의 공백을 남겼습니다.

싱가포르 국립대학교의 연구팀은 이제 모델의 내부 메커니즘을 살펴봄으로써 이 간극을 메웠습니다. 그들은 규칙을 따르는 성공적인 과정과 사실을 고수하지 못하는 실패 모두가 동일한 기저 프로세스에 의존한다고 제안합니다. 그들의 발견의 핵심은 모델이 프롬프트의 서로 다른 부분들을 어떻게 처리하는지에 있습니다. 어떤 프롬프트에서든, 일부 텍스트는 모델에게 답변의 구조를 어떻게 짤지 알려주는 '규칙' 역할을 하는 반면, 다른 텍스트는 사용될 구체적인 사실을 제공하는 '근거' 역할을 합니다. 연구진은 모델이 내부적으로 이러한 역할의 차이를 실제로 '이해'하고 있다는 것을 발견했습니다. 모델은 자신이 보고 있는 것이 규칙인지 아니면 근거인지를 나타내기 위해 신경망 내에 특정한 조직화된 활동 패턴을 생성합니다. 그러나 이러한 내부 표현을 갖는 것만으로는 올바른 답변을 보장하기에 충분하지 않습니다. 모델은 텍스트의 역할을 인식할 수는 있지만, 그 인식이 실제 최종 출력물을 제어하도록 만들지는 못할 수도 있습니다.

이 과정을 밝혀내기 위해 연구진은 특정 프롬프트 부분이 모델의 결정에 미치는 영향력을 측정하는 방법을 개발했습니다. 그들은 규칙이나 근거를 포함하고 있는 특정 텍스트 섹션인 '역할 범위(role span)'에 집중했습니다. 이 텍스트가 존재할 때와 이를 다른 내용으로 대체했을 때의 모델 행동을 비교함으로써, 그들은 특정 텍스트가 모델을 특정 답변으로 얼마나 밀어붙이는지를 정확히 분리해 낼 수 있었습니다. 그들은 모델이 규칙을 따르거나 근거를 올바르게 사용하기 위해서는, 해당 텍스트로부터 오는 영향력이 충분히 강해야 하며 일관되게 올바른 방향을 가리켜야 한다는 것을 발견했습니다. 모델이 단순히 규칙을 '보는' 것만으로는 부족합니다. 규칙으로부터 오는 수학적 신호는 모델의 뇌 속의 다른 경쟁하는 신호들을 압도할 만큼 커야 하며, 생성 과정의 매 단계마다 정답의 방향과 일치해야 합니다.

이 연구는 모델이 규칙은 잘 따르면서도 사실에는 자주 실패하는 이유가 이 영향력이 어디에서 어떻게 적용되는지에 달려 있음을 밝혀냈습니다. 모델이 답변을 리스트 형식으로 만드는 것과 같은 규칙을 따를 때, 규칙 텍스트로부터의 영향력은 많은 다양한 결정에 걸쳐 지속되어야 합니다. 모델은 반복적으로 올바른 구조를 선택해야 하며, 규칙의 신호는 모델이 궤도를 유지할 수 있도록 각 단계에서 충분히 강력하게 남아 있어야 합니다. 반면, 모델이 근거를 사용해야 할 때 결정적인 순간은 훨씬 더 구체적입니다. 근거 텍스트로부터의 영향력은 모델이 특정 사실을 결정하는 바로 그 순간에 강력해야 합니다. 만약 그 찰나의 순간에 근거의 신호가 너무 약하거나 다른 신호들에 의해 상쇄된다면, 모델은 경로를 벗어나 제공된 사실 대신 사실을 지어내게 됩니다.

연구진은 모델의 계산 과정에 직접 개입하여 이 이론을 테스트했습니다. 그들은 규칙 텍스트에서 오는 신호를 인위적으로 약화시켰을 때, 모델이 따라야 할 형식을 자주 잊어버린다는 것을 발견했습니다. 마찬가지로 근거 텍스트의 영향력을 줄였을 때, 모델은 제공된 사실을 사용하는 것을 멈추고 환각을 일으키기 시작했습니다. 아마도 가장 시사하는 바가 큰 것은, 이러한 실패가 항상 영구적인 것은 아니라는 점을 보여준 것입니다. 모델이 처음에 근거를 사용하는 데 실패했을 때, 연구진은 근거 텍스트의 신호를 인위적으로 높임으로써 그 실수를 되돌릴 수 있었습니다. 올바른 사실에 대한 지지가 모델의 초기 망설임을 극복할 만큼 강력해지자, 모델은 성공적으로 올바른 답으로 전환했습니다. 이는 모델이 내부적으로 올바른 정보를 이미 가지고 있는 경우가 많지만, 결정의 순간에 신호가 충분히 강하지 않아 그 정보에 따라 행동하지 못하는 것임을 시사합니다.

이 연구는 겉보기에 상반된 두 가지 행동에 대한 통합적인 설명을 제공합니다. 모델이 지침을 완벽하게 따르는 모델과 사실에 대해 거짓을 말하는 모델 사이의 차이는 프롬프트를 이해하는 방식의 차이가 아니라, 생성 과정 중에 프롬프트의 영향력이 어떻게 유지되는지의 차이라는 점을 시사합니다. 규칙의 경우, 영향력은 응답의 구조를 안내하는 꾸준하고 지속적인 힘이어야 합니다. 사실의 경우, 영향력은 특정 값이 선택되는 바로 그 순간의 날카롭고 결정적인 추진력이 되어야 합니다. 연구는 모델의 신뢰성이 프롬프트로부터 오는 내부 신호가 이러한 결정적 선택의 순간에서 승리할 수 있을 만큼 충분히 강하고 올바르게 조직되어 있는지에 달려 있다고 결론짓습니다. 이 메커니즘을 이해함으로써, 우리는 왜 이 강력한 도구들이 때로는 완벽한 조수처럼 작동하고 때로는 자신만만한 거짓말쟁이처럼 작동하는지, 그리고 어떻게 동일한 내부 기계가 두 가지 결과 모두에 책임을 지는지에 대한 더 명확한 그림을 얻을 수 있습니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →