🤖 machine learning

Context Is King: How In-Context Specification Shapes the Geometry of Concepts

이 논문은 거대 언어 모델 내 개념의 기하학적 구조가 고정된 사전 학습된 우선순위(priors)가 아니라 인컨텍스트 명세(in-context specifications)에 의해 동적으로 결정되며, 이러한 우선순위를 깔끔하게 덮어쓰고 오직 더 큰 모델에서만 나타나는 부과된 기하학을 인과적으로 활용할 수 있음을 입증한다.

원저자: Elad David, Max Fomin

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Elad David, Max Fomin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 아주 똑똑한 로봇이 어떻게 생각하는지 이해하려고 노력 중이라고 상상해 보세요. 오랫동안 과학자들은 이 로봇의 뇌 안에 고정된 채 변하지 않는 거대한 사실의 도서관이 있다고 믿었습니다. 만약 당신이 요일에 대해 묻는다면, 로봇은 선반에서 월요일이 화요일 옆에 놓여 있는, 미리 만들어진 완벽한 원형 모양을 꺼낼 것입니다. 만약 달(month)에 대해 묻는다면, 또 다른 원형을 꺼내겠지요. 이 아이디어는 로봇의 뇌가 마치 고정된 지도와 같아서, 질문이 던져질 때마다 단순히 찾아보기만을 기다리는 정적인 상태라고 시사했습니다.

하지만 만약 그 도서관이 우리가 생각했던 것만큼 경직되어 있지 않다면 어떨까요? 만-약 로봇이 단순히 지도를 찾아보는 것이 아니라, 당신이 방금 한 말에 기초하여 매번 새로운 지도를 그려낸다면 어떨까요? 이것이 바로 과학자들이 '거대 언어 모델(Large Language Models, 이 거대한 AI 로봇들의 멋진 이름)'에 대해 던지는 핵심적인 질문입니다. 그들은 이 로봇이 세상에 대한 이해를 '보유'하고 있는 것인지, 아니면 그저 그 순간의 규칙을 놀라울 정도로 잘 따르고 있는 것인지를 알고 싶어 합니다. 이를 이해하는 것은 이 로봇들이 정말로 무언가를 '아는' 것인지, 아니면 단지 그 순간의 규칙을 따르는 데 매우 능숙한 것인지를 파악하는 데 도움이 됩니다.

논문의 위대한 발견: "컨텍스트가 왕이다(Context is King)" 규칙

Zenity의 연구팀은 이 아이디어를 테스트하기 위해 재미있고 약간은 장난스러운 실험을 하기로 했습니다. 그들은 로봇에게 세상이 돌아가는 방식에 대한 완전히 가짜 규칙을 알려준다면, 로봇이 당신을 믿을지, 아니면 이전에 배웠던 것을 고수할지를 묻는 간단한 질문을 던졌습니다.

그들은 Gemma나 Qwen과 같은 모델(위에서 언급한 로봇들의 매우 발전된 버전들입니다)을 가져와서 "재정의된" 달력을 부여했습니다. 예를 들어, 로봇에게 이렇게 말하는 것입니다: "이봐, 네가 아는 건 다 잊어버려. 이 새로운 세상에서는 수요일, 그다음 월요일, 그다음 금요일 순서만이 유효한 순서야." 그들은 로봇에게 학습할 예시를 주지 않았습니다. 그저 그 규칙을 하나의 사실로서 선언했을 뿐입니다.

충격적인 결과: 로봇은 단순히 그 규칙을 따르는 척하는 데 그치지 않고, 그 규칙에 맞춰 자신의 뇌를 실제로 *재구성(rewire)*했습니다.

연구진이 로봇의 "마음"(구체적으로는 답변을 하기 직전에 생성하는 수학적 패턴) 내부를 들여다보았을 때, 그들은 놀라운 것을 발견했습니다. 로봇은 단순히 "수요일, 월요일, 금요일"이라는 단어를 말한 것이 아니었습니다. 로봇은 실제로 그 날들의 개념을 새로운 규칙에 맞게 뇌 속에서 새로운 형태(shape)로 배치했습니다.

과거의 관점: 로봇은 고정된 요일의 원형을 가지고 있다.
새로운 관점: 로봇은 즉석에서 새로운 모양을 그린다. 만약 당신이 날들이 원형이라고 말하면 원형을 만들고, 직선이라고 말하면 직선을 만들며, 가계도라고 말하면 나무 모양을 만든다.

논문은 이를 **"컨텍스트가 왕이다(Context is King)"**라고 부릅니다. 가장 중요한 것은 로봇이 과거에 배운 것(사전 학습된 사전 지식, "pretrained prior")이 아니라, 지금 당신이 말하고 있는 것(문맥 내 명시 사항, "in-context specification")입니다. 로봇의 뇌는 매우 유연해서, 강력한 새로운 규칙을 주면 그 새로운 형태가 기존의 저장된 구조를 압도합니다. 기존의 지도가 영원히 사라지는 것은 아닙니다. 그것은 여전히 가중치(weights) 속에 실재하며 저장되어 있지만, 문맥이 이를 반박하는 순간 로봇은 새로운, 문맥에 의해 정의된 지도를 사용하도록 전환됩니다.

어떻게 증명했는가 (그 "마술 트릭")

로봇이 그저 허세를 부리는 것이 아님을 확인하기 위해, 연구진은 "인과적 패칭(causal patching)" 실험을 수행했습니다. 이것은 마치 한 캐릭터의 뇌를 다른 캐릭터의 뇌와 교체하여 어떤 일이 일어나는지 보는 마술 트릭과 같습니다.

연구진은 로봇에게 새로운, 이상한 요일 순서를 알려주었습니다.
"월요일"에 해당하는 "뇌 신호"를 가져와서 "수요일"의 신호와 교체했습니다.
그리고 로봇에게 "월요일 다음에 오는 것은 무엇인가요?"라고 물었습니다.

만 만약 로봇이 단순히 저장된 목록을 찾아보고 있는 것이라면, 혼란에 빠지거나 틀린 답을 냈을 것입니다. 하지만 로봇은 새로운 지도를 바탕으로 구축되었기 때문에, 새로운 규칙에 따라 답했습니다. 로봇은 "월요일"이 이제 "수요일"처럼 행동하고 있음에도 불구하고, "월요일" 다음에 오는 것이 무엇인지 새로운 규칙에 근거하여 대답했습니다. 이는 로봇이 단순히 옛날 사실을 암송하는 것이 아니라, 방금 구축한 새로운 형태를 실제로 사용하고 있음을 증证明했습니다.

함정: 로봇의 크기에 달려 있다

여기 반전이 있습니다. 모든 로봇이 이 일을 똑같이 잘하는 것은 아닙니다. 연구진은 자신의 세계 지도를 완전히 다시 그리는 이 능력이 로봇의 크기에 크게 의존한다는 것을 발견했습니다.

큰 로봇들 (Gemma-31B나 Qwen-27B 같은 모델): 이들은 매우 똑똑한 로봇들입니다. 이들은 당신의 새로운 규칙을 듣고, 기존의 지도를 덮어쓰며, 완벽하고 깨끗한 새로운 형태를 그려냅니다. 직접적이고 단순한 프롬프트에서는 테스트에서 100%의 성공률을 보이며 새로운 순서를 거의 완벽하게 따릅니다. 하지만 이 큰 모델들에게도 과업이 어려워지거나(예: 새로운 순서대로 여러 단계를 거치는 경우), 엄격한 지시 없이 "자유 형식"으로 생각을 밖으로 내뱉도록 허용될 경우 성능이 떨어질 수 있습니다.
작은 로봇들 (Gemma-2B나 Qwen-4B 같은 모델): 이들은 더 어린, 작은 모델들입니다. 이들도 규칙을 듣고 새로운 형태를 그리려고 노력하지만, 그 모습이 엉성합니다. 마치 떨리는 손으로 완벽한 원을 그리려는 것과 같습니다. 대략적인 개념은 잡을 수 있지만, 기존의 기억을 완전히 놓아버리지는 못합니다. 때로는 혼란을 느껴 예전의 사고방식으로 되돌아가거나, 사용할 만한 지도를 아예 구축하지 못하기도 합니다.

논문은 새로운 형태를 "구축하는 것"은 작은 로봇들에게도 쉽지만, 그 형태를 완벽하고 깔끔하게 "사용하는 것"은 크기가 뒷받-쳐줘야만 얻을 수 있는 기술이라고 시사합니다. 이는 아이가 새로운 게임의 규칙을 배울 수는 있지만, 숙련된 전문가만이 실수 없이 완벽하게 게임을 플레이할 수 있는 것과 같습니다.

이것이 미래에 의미하는 바

이 연구는 우리가 AI를 생각하는 방식을 바꿉니다. 이는 이러한 모델들이 내부에 고정된 단 하나의 "세계관"을 잠가두고 있는 것이 아님을 시사합니다. 대신, 세상에 대한 그들의 이해는 유동적입니다. 이는 배경에 맞춰 색을 바꾸는 카멜레온과 같으며, 단순히 배경에 맞추는 것이 아니라 당신이 들려주는 이야기에 맞춰 색을 바꾸는 것과 같습니다.

만약 당신이 유능한 AI에게 세상은 평평하다고 말한다면, 그것은 일시적으로 세상이 평평한 것처럼 생각을 배열할 것입니다. 만약 요일이 나무 모양이라고 말한다면, 그것은 나무를 만들 것입니다. AI 내부의 "진실"은 정적인 사실이 아닙니다. 그것은 대화에 의해 형성되는, 바로 그 순간에 일어나는 계산입니다.

연구진은 로봇이 정확히 어떻게 처음부터 이러한 형태를 만드는지, 혹은 단순히 기존의 가구를 재배치하는 것뿐인지에 대해서는 아직 정확히 알지 못한다고 조심스럽게 밝히고 있습니다. 하지만 한 가지는 분명합니다. 로봇은 당신의 말을 듣고 있으며, 당신의 이야기에 맞추기 위해 마음을 바꾸고 있다는 사실입니다. 당신이 제공하는 컨텍스트가 왕이며, 로봇은 그 왕을 따르는 형상 변화의 충직한 신하입니다.

기술적 요약: 맥락이 왕이다: 인컨텍스트 명세(In-Context Specification)가 개념의 기하학적 구조를 어떻게 형성하는가

문제 제기

현재의 해석 가능성(interpretability) 연구는 대규모 언어 모델(LLM)이 구조화된 개념을 가중치 내에 고정된 기하학적 매니폴드(manifold)로 저장한다고 가정하는 경우가 많다(예: 요일은 원형을 이루고, 월은 또 다른 형태를 이룸). 이러한 "선형 표현 가설(linear representation hypothesis)"은 의미론적 관계가 사전 학습 중에 학습되어 추론 시에 검색되는 고정된 변위 또는 위상적 형태에 대응한다고 제안한다. 그러나 이러한 기하학적 구조가 모델의 내재적이고 정적인 속성인지, 아니면 입력된 맥락으로부터 온디맨드로 구축되는 동적인 조립체인지에 대해서는 여전히 불분명하다. 구체적으로, 상충하는 인컨텍스트 명세가 단순히 고정된 매니폴드 내에서 개념의 위치를 이동시키는 것인가, 아니면 표현의 위상(topology) 자체를 근본적으로 재구성하는 것인가?

방법론

저자들은 모델의 사전 학습된 사전 지식(priors)과 선언적 인컨텍스트 명세 사이의 직접적인 충돌을 강제함으로써 이를 조사한다.

1. 실험 프레임워크:

인컨텍스트 명세(In-Context Specification): 저자들은 "명세"를 예시(exemplars)를 제공하지 않고 엔티티 간의 관계를 단언하는 선언적 규칙으로 정의한다. 이는 순서(예: "유효한 유일한 순서는: 수요일, 월요일...")나 계층 구조(예: "P는 A와 B의 부모이다")가 될 수 있다.
충돌 체제(Conflict Regime): 연구는 모델의 자연스러운 이해와 모순되는 명세를 부과한다(예: 요일의 순서를 재정의하거나, 순환적 개념에 계층 구조를 적용함).
엔티티(Entities): 실험은 강한 순환적 사전 지식(요일, 월, 시계 시간), 약한 사전 지식(황도 12궁), 비순환적 사전 지식(음표), 그리고 임의의 의미 없는 토큰을 다룬다.
표면 형태(Surface Forms): 명세는 번호가 매겨진 리스트나 인접 에지(adjacency edges) 형태로 제시되며, 순환을 닫기 위한 "랩(wrap)" 에지의 유무가 포함된다.

2. 측정 및 분석:

표현 유사도 분석(Representational Similarity Analysis, RSA): 주요 지표는 엔티티 중심점(마지막 토큰 전의 잔차 흐름(residual stream)에서 추출됨)의 표현 불일치 행렬(RDM)과 이론적 템플릿(예: 순환 거리 또는 트리 깊이) 사이의 스피어만 상관계수이다. 결정적으로, 잔차 흐름의 이방성 방향을 제거하기 위해 중심점들을 평균 중심화(mean-centered)한다.
활성화 패칭(Activation Patching): 인과성을 확립하기 위해 저자들은 엔티티 치환 패칭을 수행한다. 동일한 맥락 내의 한 엔티티( $E_{orig}$ )의 잔차 활성화를 다른 엔티티( $E_{patch}$ )로 덮어쓰고, 모델의 출력이 사전 학습된 순서가 아닌 패칭된 엔티티의 맥락에 의해 부과된 후속자를 따르는지 관찰한다.
스케일 스윕(Scale Sweep): 모델 규모가 기하학적 구조의 형성과 사용에 미치는 영향을 결정하기 위해, 2B에서 31B 파라미터에 이르는 세 가지 제품군(Gemma, Qwen, Llama)의 8개 인스트럭션 튜닝 모델을 평가한다.

주요 기여 및 결과

1. 맥락이 위치뿐만 아니라 위상 유형을 결정한다
본 논문은 인컨텍스트 명세가 고정된 형태 내에서의 단순한 이동이 아니라, 개념 기하학의 *위상(topology)*을 결정한다는 것을 입증한다.

위상 전환(Topology Switching): 선언적 규칙이 계층 구조를 정의하면, 엔티티의 기하학적 구조(요일과 같은 순환적 엔티티조차도)는 깊이 계층화된 트리로 재구성된다. 반대로, 순환 규칙은 트리 구조를 원형으로 강제한다.
임의의 토큰: 이 효과는 사전 학습된 사전 지식이 존재하지 않는 임의의 의미 없는 토큰에서도 발생하며, 이는 기하학이 사전 지식으로부터 검색되는 것이 아니라 명세로부터 구축됨을 증증한다.
증거: Gemma-31B에서 요일에 계층 구조를 부과했을 때 깊이-RSA는 +0.67을 기록한 반면, 순환을 부과했을 때는 순환-RSA가 +0.72를 기록했다. 유효 차원 또한 그에 따라 변화한다(자연스러운 링의 경우 약 4.8에서 부과된 트리의 경우 약 1.8로).

2. 맥락 집합 기하학이 사전 학습된 사전 지식을 압도한다
맥락이 강한 사전 학습된 사전 지식과 충돌할 때, 맥락 집합 기하학이 우위를 점한다.

지배력(Dominance): 유능한 모델(Gemma-31B, Qwen-27B)에서 부과된 순서에 대한 RSA는 높게 나타나는 반(+0.80 ~ +0.90) 반, 자연스러운 사전 학습된 순서에 대한 RSA는 거의 0에 가깝게 붕괴한다(예: 요일의 경우 -0.03).
인과적 사용: 활성화 패칭은 이 기하학이 인과적으로 사용됨을 확인시켜 준다. 엔티티의 활성화를 교체했을 때, 모델의 답변은 사전 학습된 지도가 아닌 맥락에 의해 부과된 지도에 따른 후속자를 따른다. 이러한 "이중 해리(double dissociation)"(자연스러운 맥락에서는 자연스러운 순서를 따르고, 부과된 맥락에서는 부과된 순서를 따름)는 단순한 고정 테이블 조회를 배제한다.

3. 규모에 따른 충실도: 형성 vs 사용
대략적인 기하학을 형성하는 능력은 작은 모델에서도 나타나지만, 이를 깔끔하고 충실하게 사용하는 능력은 모델 규모에 따라 결정된다.

작은 모델: Gemma-2B나 Qwen-9B와 같은 모델은 대략적인 부과된 기하학을 형성할 수는 있지만(null 값을 제거함), 그 지도는 종종 "누수(leaky)"되거나 일방향적이다. 예를 들어, 패칭이 부과된 맥락 하에서의 답변에는 영향을 미치지만 자연스러운 맥락 하에서의 전환에는 실패하거나, 기하학이 깔끔한 순환이 아닌 자기 교차형 링이 될 수 있다.
큰 모델: 깔끔하고 탐색 가능한 지도와 완전한 인과적 이중 해리는 더 큰 모델(Gemma-12B/31B, Qwen-27B)에서만 나타난다.
시사점: 큰 모델에 존재하는 메커니즘(충실한 맥락 의존적 기하학)이 동일한 제품군의 더 작은 모델에서는 존재하지 않거나 근본적으로 다를 수 있다.

4. 메커니즘 국소화(Mechanism Localization)
연구는 이 지도를 형성하는 과정을 중간 네트워크 단계(약 0.45–0.75 깊이)로 국소화한다.

정체성에서 결합으로: 초기 레이어는 토큰의 정체성을 인코딩하지만, 중간 네트워크에 도달하면 정체성은 맥락에 의해 부과된 위치와 결합된다. 이 중간 레이어에서의 패칭이 출력을 유도하는 데 가장 효과적이다.

의의 및 주장

본 논문은 LLM 내 개념의 기하학적 구조가 가중치에 저장된 고정된 내재적 속성이 아니라, 맥락에 의해 계산되는 것임을 주장한다.

"세계 모델(World Models)"의 재정의: 모델이 세계 모델과 같은 구조를 저장할 수는 있지만, 이것이 추론 시 사용되는 유일하거나 최종적인 표현은 아니다. "모델이 사용하는 기하학"은 사전 지식과 상충하더라도 맥락에 의해 명시된 기하학이다.
메커니즘적 vs 지시적: 이것은 단순한 지시 이행(instruction-following)이 아니라 메커니즘적인 현상이다. 위상 유형은 명령에 따라 변경되며, 사전 지식을 물려받을 토큰이 없는 경우에도 형성되며, 인과적 편집 하에서 반전된다.
전이 주의(Transfer Caution): 이러한 발견은 작은 모델에서 관찰된 회로 수준의 해석 가능성이나 기하학적 특성이 큰 모델로 전이되지 않을 수 있음을 시사한다. 작은 모델은 대략적인 맥락-집합 지도를 형성할 수는 있지만, 깔끔하고 인과적으로 작동하는 기하학은 규모와 함께 발현되는 능력이다.

저자들은 복구된 "세계 모델" 기하학을 내재적인 것이 아니라 맥락 의존적인 것으로 읽어야 하며, 모델의 행동은 명세로부터 온디맨드로 구축된 지도에 의해 구동된다고 결론짓는다.