Language Models Struggle to Use Representations Learned In-Context

"언어 모델은 인-컨텍스트에서 학습된 표현을 활용하는 데 어려움을 겪는다"는 논문의 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

대규모 언어 모델 (LM) 은 다음 토큰 예측과 복잡한 추론에서 놀라운 능력을 입증해 왔으나, 진정한 적응형 인공지능 에이전트로서 기능하는 능력에는 여전히 중요한 격차가 존재합니다. 구체적으로 본 논문은 LLM 이 (파라미터 업데이트 없이) 완전히 인-컨텍스트로 학습된 풍부하고 구조화된 데이터 표현을 새로운 하류 작업 해결을 위해 유연하게 배포할 수 있는지 여부를 조사합니다.

이전 연구 (Park et al., 2025a) 에 따르면 LLM 은 특정 컨텍스트에 노출되었을 때 (예: 무작위 보행의 위상 학습) 잠재 은닉 상태에 새로운 의미를 인코딩할 수 있음이 입증되었습니다. 그러나 이러한 표현이 수동적 (복호화 가능하지만 사용되지 않음) 인 것인지, 아니면 유연하게 배포 가능한 (새로운 작업에 대한 응답을 인과적으로 주도함) 것인지 명확하지 않습니다. 핵심 질문은 다음과 같습니다: LM 이 인-컨텍스트에서 구조를 학습한 후, 동일한 구조가 필요한 다른 작업을 해결하기 위해 그 구조를 능동적으로 사용할 수 있는가?

2. 방법론

저자들은 인코딩(표현 학습) 과 배포(표현 활용) 를 분리하기 위해 합성 작업을 사용한 일련의 실험을 설계했습니다.

A. 핵심 작업: 그래프 추적 및 인-컨텍스트 표현 학습 (ICRL)

• 설정: 모델은 잠재 상태 공간 (1 차원 선과 16 또는 25 개 상태의 2 차원 그리드 위상을 포함) 에 대한 무작위 보행으로 생성된 임의 토큰 시퀀스를 제시받습니다.
• 지표: 저자들은 모델의 은닉층 표현이 상태 공간의 기하학적 위상을 반영하도록 재구성되었는지 측정하기 위해 **디리클레 에너지 (DE)**와 **거리 상관관계 (DC)**를 사용합니다.
• 목표: 모델이 잠재 공간에서 위상을 성공적으로 학습했는지 확인합니다.

B. 실험 1: 지연을伴한 다음 토큰 예측

• 목적: 학습된 위상을 지연 후 다음 토큰 예측에 사용할 수 있는지 테스트합니다.
• 조건:
  1. 미충전 (Prefilled): 무작위 보행 시퀀스가 모델이 생성한 응답의 일부로 제공됩니다 (즉각적 배포).
  2. 지시 (Instruction): 시퀀스가 사용자 프롬프트에 제공되며, 모델은 [ANSWER] 토큰을 생성한 후 간격 (지연) 을 두고 다음 단어를 예측해야 합니다 (지연 배포).
• 가설: 표현이 유연하다면 두 조건에서 성능이 유사해야 합니다. 수동적이라면 지시 조건에서 성능이 크게 저하되어야 합니다.

C. 실험 2: 적응형 세계 모델링 (AWM)

• 목적: 학습된 위상을 사용하여 변환 규칙을 추론하도록 모델을 강제하는 새로운 작업을 설계합니다.
• 설정:
  1. 1 단계: 모델이 무작위 보행을 관찰하여 위상을 학습합니다.
  2. 2 단계: 소수 샷 (few-shot) 예시들이 상태 매핑 규칙을 정의합니다 (예: $s_{i,j} \to s_{i+2,j}$).
  3. 3 단계: 모델은 보류된 상태에 이 규칙을 적용해야 합니다.
• 과제: 토큰이 임의적이므로 모델은 매핑을 해결하기 위해 반드시 인-컨텍스트로 학습된 위상에 의존해야 합니다.
• 변형: "1 단계" (보행에서 규칙 관찰됨) 및 "2 단계/3 단계" (규칙 미관찰) 규칙으로 테스트했습니다.

D. 실험 3: 최첨단 추론 모델

• 대상: 체인 오브 씽킹 (CoT) 추론을 활용하는 최첨단 "추론 모델" (Gemini-2.5 Pro/Flash, GPT-5).
• 목적: 외부화된 추론 체인이 수동적인 은닉 표현을 보완할 수 있는지 확인합니다.
• 분석: AWM 과 "구조 설명" 작업 (학습된 위상을 언어로 설명하도록 요청) 에서 테스트했습니다.

3. 주요 기여

1. 적응형 세계 모델링 (AWM) 의 도입: 인-컨텍스트 의미의 유연한 배포를 탐구하기 위해 특별히 설계된 새로운 벤치마크 작업.
2. 인코딩과 배포의 분리: 성공적인 인-컨텍스트 표현 학습 (인코딩) 이 하류 작업에 대한 표현 사용 능력 (배포) 을 보장하지 않는다는 실증적 증거 제공.
3. 추론 모델 분석: 표준 오픈 가중치 모델에서 발견된 "수동적 표현" 한계를 최첨단 추론 모델이 극복하는지에 대한 최초의 체계적 평가.

4. 주요 결과

A. 오픈 가중치 모델 (Gemma, OLMo)

• 인코딩 성공: 모델은 지시 및 미충전 조건 모두에서 잠재 표현으로 위상을 성공적으로 학습했습니다 (DE 및 DC 지표가 컨텍스트 길이에 따라 향상됨).
• 배포 실패:
  • 다음 토큰 예측: 모델은 미충전 조건에서는 잘 수행되었으나, 동등한 잠재 표현을 가졌음에도 불구하고 지시 조건 (지연 배포) 에서 크게 어려움을 겪었습니다.
  • AWM 작업: 모델은 인-컨텍스트에서 위상을 추론해야 할 때 AWM 작업을 해결하지 못했습니다. 정확도는 기준선에 근접했습니다.
  • 중요한 발견: 위상이 인-컨텍스트 학습 필요성을 우회하기 위해 프롬프트에 명시적으로 제공되었을 때, 정확도는 75% 이상으로 급증했습니다. 이는 실패가 규칙 유도 실패가 아니라 인-컨텍스트 학습된 표현의 배포 실패임을 증명합니다.
  • 표현 저하: 소수 샷 예시 (AWM 단계) 의 토큰에 대한 은닉 표현은 무작위 보행 단계에 비해 위상에 대한 충실도가 낮아, 학습된 구조가 유연하게 계승되지 않았음을 시사합니다.

B. 최첨단 추론 모델 (Gemini, GPT-5)

• 부분적 개선: 추론 모델은 오픈 가중치 모델, 특히 1 차원 (선) 위상에서 더 나은 성능을 보였습니다.
• 지속적인 한계: 2 차원 (그리드) 위상에서는 성능이 붕괴되었습니다.
• 메커니즘: 학습된 위상을 명시적으로 설명하도록 요청했을 때, 이러한 모델은 "양호하지만 완벽하지는 않은" 정확도를 달성했습니다. 이는 CoT 체인이 의미의 일부 유연한 배포를 허용하지만, 과정이 불완전하며 근본적인 은닉 표현의 수동성을 완전히 극복하지는 못함을 시사합니다.

5. 중요성 및 함의

• "수동적 표현" 문제: 본 논문은 인-컨텍스트 학습이 완전히 기능적인 "세계 모델"을 생성한다는 가정에 도전합니다. 이는 LLM 이 종종 컨텍스트 의존적 구조를 수동적으로 인코딩한다는 것을 시사합니다. 즉, 잠재 공간에는 존재하지만 새로운 컨텍스트에서 행동을 주도하기 위해 인과적으로 접근할 수 없습니다.
• 현재 아키텍처의 한계: 가장 진보된 추론 모델 (CoT) 조차도 이 문제를 부분적으로만 완화합니다. 이는 확장된 추론을 갖춘 현재 트랜스포머 아키텍처조차도 즉흥적으로 내부 세계 모델을 구축하고 배포할 수 있는 진정한 적응형 에이전트에 필요한 메커니즘이 부족할 수 있음을 시사합니다.
• 향후 방향: 저자들은 유연한 배포를 달성하기 위해 다음이 필요할 수 있다고 제안합니다:
  • 표적 훈련 체계.
  • 인-컨텍스트 의미를 모델의 이전 층에 사용 가능하게 만드는 메커니즘적 개입.
  • 학습된 표현을 하류 추론과 동적으로 연결하는 것을 지원하는 아키텍처 변경.

요약하자면, 본 논문은 LLM 이 컨텍스트 창에 새로운 정보를 기록하는 데는 탁월하지만, 학습된 구조를 새로운 작업에 유연하고 인과적으로 적용해야 할 때 그 정보에 행동하는 데는 현재 어려움을 겪고 있음을 보여줍니다.