🤖 machine learning

Can In-Context Learning Support Intrinsic Curiosity?

이 논문은 인컨텍스트 학습(in-context learning)이 내재적 호기심 기반 데이터 선택을 위한 비용이 많이 드는 그래디언트 업데이트를 대체할 수 있는지 조사하며, 편향되지 않은 학습 진전도 추정이 일반적인 마르코프 결정 과정(Markov decision processes)에서는 불가능하지만 능동 학습(active learning) 및 베이지안 실험 설계(Bayesian experimental design)와 같은 비시계열적 설정에서는 달성 가능하고 효과적임을 입증한다.

원저자: Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 번도 본 적 없는 방에서 미스터리를 풀기 위해 노력하는 탐정이라고 상상해 보세요. 당신에게는 당신이 무엇을 목격하고 있는지 기록하는 노트(당신의 "세계 모델")가 있습니다. 미스터리를 해결하는 능력을 키우기 위해서, 당신은 다음에 무엇을 볼지 결정해야 합니다.

무작위로 변하는 깜빡이는 전구를 멍하니 바라봐야 할까요? 아니면 단서가 들어있을지도 모르는 잠긴 상자를 조사해야 할까요?

이 논문은 다음과 같은 질문을 던집니다: 초지능 AI가 자신의 뇌를 끊임없이 다시 쓰지 않고도, 호기심을 갖고 무엇을 봐야 할지 올바르게 선택하는 법을 배울 수 있을까?

이들의 발견을 쉬운 비유를 사용하여 정리했습니다.

1. 옛날 방식: "뇌를 다시 쓰는" 문제

전통적으로, AI에게 호기심을 가르치기 위해 연구자들은 "학습 진전(Learning Progress)"이라는 방법을 사용했습니다.

아이디어: AI가 무언가를 보고, 자신의 뇌를 업데이트(노트를 다시 씀)한 다음, 다음과 같이 확인합니다: "이것을 본 후에 이해도가 더 높아졌는가?" 만약 그렇다면, AI는 "호기 curiosity 보상"을 받습니다.
문제점: 이를 위해 AI는 멈춰서, 자신의 머릿속에서 복잡한 수학 시뮬레이션을 실행하여 뇌를 업데이트한 다음, 그 결과를 확인해야 합니다. 이는 마치 새로운 언어를 배우면서 문장을 말할 때마다 전체 사전을 다시 쓰기 위해 멈추는 것과 같습니다. 거대 AI 모델에게는 너무 느리고 비용이 많이 드는 작업입니다.

2. 새로운 도구: "인컨텍스트 러닝(In-Context Learning)" (즉각적인 천재)

저자들은 현대의 챗봇 뒤에 있는 것과 같은 특수한 유형의 AI, 즉 **인컨텍스트 러닝(ICL)**을 가진 AI를 사용합니다.

비유: 모든 책을 다 읽은 천재를 상상해 보세요. 당신은 그들에게 새로운 것을 가르칠 필요가 없습니다. 대신, 이야기의 몇 페이지( "컨텍스트")를 건네주기만 하면, 그들은 다음에 어떤 일이 일어날지 즉시 알아냅니다. 그들은 뇌를 새로 쓸 필요 없이, 당신이 준 이야기를 이용해 예측할 뿐입니다.
목표: 이 "즉각적인 천사"를 사용하여, 에이전트가 멈춰서 자신의 뇌를 다시 쓰지 않고도 무엇을 볼지 결정하게 할 수 있을까요?

3. 위대한 발견: 그것은 "방의 종류"에 달려 있다

❌ 함정: "노이즈 TV" (일반적인 환경)

복잡하고 무질서한 세상(예: 일반적인 비디오 게임)에서는, 이 즉각적인 천재가 속아 넘어갑니다.

비유: 방 안에 지지직거리는 노이즈가 나오는 TV가 있다고 상상해 보세요. 단순한 호기심 시스템은 이렇게 말합니다: "와, 저 TV 정말 예측 불가능하네! 저걸 보고 있으면 엄청난 보상을 받을 수 있어!"
결과: AI는 아무런 유용한 것도 배우지 못한 채, 그 노이즈 TV 앞에 영원히 앉아 있게 됩니다. 논문은 이러한 복잡한 세상에서, "즉각적인 천재"가 노이즈를 무시하고 진짜 단서에 집중하도록 속이는 것이 어렵다는 것을 증명합니다. 값비싼 뇌 업데이트 없이는 수학적으로 불가능하기 때문입니다.

✅ 성공: "통제된 실험실" (베이지안 실험 설계)

하지만, 당신이 일련의 실험을 수행하는 특정 유형의 환경(예: 서로 다른 약물을 테스트하거나 암호를 해독하는 경우)에서는 이 기술이 완벽하게 작동합니다.

비유: 당신이 공을 떨어뜨려 어디에 떨어지는지 관찰하는 실험실에 있다고 상상해 보세요. "노이즈"(바람, 덜컹거림)는 "단서"(중력)와 분리되어 있습니다.
결과: 저자들은 "즉각적인 천재"를 사용하는 새로운 방식의 호기심 측정법( $r_{sum}$ )을 만들었습니다.
- 이것은 다음과 같이 묻습니다: "만약 내가 이 특정 단서를 보지 못했다면, 나머지 실험에 대한 나의 예측은 얼마나 더 나빠졌을까?"
- 만약 대답이 "매우 그렇다"라면, AI는 중요한 단서를 찾았음을 압니다.
- 만약 대답이 "그다지 아니다"라면, 그것은 그저 노이즈였을 뿐입니다.

4. 실험: 이론 검증

팀은 세 가지 다른 "방"에서 이 이론을 테스트했습니다:

지도 제작자 (가우시안 프로세스): 울퉁불퉁한 지형의 매끄러운 지도를 그리려고 시도함.
- 결과: 기존 방식(노이즈를 쳐다보는 것)은 처참하게 실패했습니다. 새로운 방식( $r_{sum}$ )은 울퉁불퉁하고 노이즈가 많은 부분을 성공적으로 무시하고, 매끄럽고 중요한 부분에 집중했습니다.
암호 해독가 (마스터마인드): 비밀 색상 코드를 맞추려고 시도함.
- 결과: "악의적인" 무작위 노이즈를 게임에 추가했을 때, 기존 방식은 혼란에 빠져 무작위로 행동했습니다. 반면 새로운 방식은 암호를 완벽하게 계속 풀어냈습니다.
연금술사 (연금술): 어떤 포션이 돌을 다른 돌로 바꾸는지 알아내려고 시도함.
- 결과: 마찬가지로, 새로운 방식은 가짜의 무작위 반응을 무시하고 실제 규칙을 학습했습니다.

핵심 요약

이 논문은 인컨텍스트 러닝이 "내재적 호기심"을 지원할 수 있지만, 이는 오직 통제된 실험 환경에서만 가능하다고 주장합니다.

수행하는 것: AI가 매 초마다 멈춰서 뇌를 재학습할 필요 없이, 어떤 데이터가 수집할 가치가 있는지를 스스로 파악하게 해줍니다.
피하는 것: AI가 무작위한 혼돈에 정신을 빼앗기는 "노이즈 TV" 문제를 피합니다.
주의점: 이 방식은 AI가 과학자가 실험실에서 하는 것처럼 일련의 독립적인 실험을 수행할 때 가장 잘 작동하며, 비디오 게임이나 자율 주행 자동차처럼 혼란스럽고 연속적인 세상을 항해하는 데는 아직 (적어도 현재로서는) 적합하지 않습니다.

요약하자면, 그들은 "미리 읽기" 기법을 사용하여 AI를 호기심 있게 만드는 방법을 찾아냈지만, 이는 현재 탐험가가 아닌 실험실의 과학자들을 위한 초능력입니다.

기술 요약: 인컨텍스트 학습(In-Context Learning)이 내재적 호기심을 지원할 수 있는가?

문제 정의
효과적인 머신러닝은 단순히 데이터를 모델링하는 것뿐만 아니라, 데이터의 자동 선택 과정, 즉 흔히 "내재적 호기심(intrinsic curiosity)"이라 불리는 과정에 의존한다. 내재적 호기심의 이론적 황금 표준은 **베이지안 정보 이득(Bayesian Information Gain, BIG)**이며, 이는 환경의 잠재 파라미터( $\theta$ )에 대해 관측으로부터 얻을 수 있는 기대 정보량을 측정한다. 그러나 BIG를 계산하는 것은 일반적으로 추론을 위해 가설 공간에 대한 명시적인 베이지안 추론을 요구하기 때문에 계산적으로 불가능(intractable)하다.

전통적인 대안인 **학습 진전도(Learning Progress, LP)**는 새로운 데이터를 획득한 후 세계 모델(world model)의 예측 능력이 얼마나 개선되었는지에 따라 에이전트에게 보상을 준다. 이론적으로는 타당하지만, 전통적인 LP 구현은 매 궤적 단계마다 세계 모델에 대한 비용이 많이 드는 내부 루프의 경사 하강법(gradient descent) 업데이트를 필요로 한다. 이러한 계산적 병목 현상은 대규모 시퀀스 모델에서 LP를 비실용적으로 만든다. 본 연구의 핵심 질문은 업데이트가 없는 아모티즈된(amortized) 예측자로서 동작하는 인컨텍스트 학습(In-Context Learning, ICL)—즉, 시퀀스 모델이 BIG를 명시적인 파라미터 업데이트 없이 효율적으로 근사함으로써 내재적 호기심 보상을 계산하는 세계 모델 역할을 할 수 있는가 하는 점이다.

방법론
저자들은 이 설정을 정책 $\pi_\phi$ 가 사전 분포 $p(\theta)$ 로부터 샘플링된 환경들과 상호작용하는 **베이즈 적응형 마르코프 결정 과정(Bayes-Adaptive MDP, BAMDP)**으로 정식화한다. 목표는 고정된 사전 학습 시퀀스 모델 $\rho$ (인컨텍스트 학습기)의 예측 오차만을 사용하여 상호 정보량 $I(s_t; \theta | h_t)$ (BIG)를 최대화하는 것이다.

저자들은 $\rho$ 로부터 유도된 세 가지 유형의 내재적 보상을 제안하고 분석한다:

놀람도(Surprisal, $r_{sur}$ ): 관측값의 음의 로그 가능도, $-\log \rho(s_t | h_t)$ .
설명 길이 감소(Description Length Reduction, $r_{dl}$ ): 현재의 전이가 모델의 컨텍스트에 포함되었을 때의 로그 가능도 개선량. 이는 이론적으로 사후 분포에 대한 반사실적(counterfactual) 업데이트를 요구한다.
누적 미래 개선도(Summed Future Improvement, $r_{sum}$ ): 현재 상태가 관측되었을 때와 마스킹되었을 때의 모든 미래 단계에 대한 예측 오차 개선량의 텔레스코핑 합(telescoping sum)을 측정하는 새로운 보상이다. 이는 다음과 같이 정의된다:
$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$
여기서 $h_{t' \setminus t}$ 는 $s_t$ 가 마스킹된 히스토리를 나타낸다.

이 보상들이 일반적인 BAMDP에서 BIG를 편향 없이 추정할 수 있는지, 아니면 제한적인 베이지안 실험 설계(Bayesian Experimental Design, BED) 설정(예: 능동 학습)에서만 가능한지를 결정하기 위해 이론적 분석이 수행된다.

주요 기여

일반 BAMDP에서의 이론적 한계:
저자들은 일반적인 BAMDP의 경우, 인컨텍스트 학습기의 인터페이스를 통해 구현 가능한 유한 시간 보상은 BIG의 편향되지 않은 추정치가 될 수 없음을 증명한다.
- **놀람도( $r_{sur}$ )**는 알레아토리적 엔트로피(aleatoric entropy)(노이즈 TV 문제)에 의해 편향됨이 밝혀졌으며, 이는 학습 가능한 구조가 아닌 예측 불가능한 노이즈에 보상을 주는 문제를 야기한다.
- **학습 진전도( $r_{dl}$ )**는 모델의 사후 분포를 수정해야 하므로, 고정된 시퀀스 모델의 표준적인 예측 인터페이스를 벗어나기 때문에 ICL을 통해 구현될 수 없다.
- **누적 개선도( $r_{sum}$ )**는 구현 가능하지만, 귀납적(abductive) 편향(현재 상태와 다음 관측 사이의 결합 관계가 $\theta$ 에 의해 설명되지 않는 현상)과 궤적 길이 $T \to \infty$ 일 때만 사라지는 잔차 항(residual term) 문제를 겪는다.
베이지안 실험 설계(BED)에서의 긍정적 결과:
(전이 확률이 $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$ 인) BED 설정에서는 구조적 장애물이 사라진다:
- $r_{sum}$ 의 귀납적 편향이 사라져, $T \to \infty$ 일 때 점근적으로 편향되지 않은 추정치가 된다.
- $r_{dl}$ 은 반사실적 행동 확정(행동 재사용)을 통해 구현 가능해지며, 젠슨 갭(Jensen gap)에 의해 제한되면서 $t \to \infty$ 일 때 BIG로 수렴한다.
- 저자들은 BED 설정에서 $r_{sum}$ 과 $r_{dl}$ 이 각각 BIG의 하한 및 상한을 제공함을 입증한다.
경험적 검증:
세 가지 환경(가우시안 프로세스(GP) 함수 추정, 마스터마인드(Mastermind), 알케미(Alchemy))에서 실험이 수행되었다.
- 노이즈 강건성: 노이즈가 포함된 변형 환경에서 $r_{sur}$ 로 훈련된 정책은 노이즈 TV 문제로 인해 무작위 기준(random baseline)보다 성능이 떨어지는 등 심각하게 실패했다.
- 성능: $r_{sum}$ 과 $r_{dl}$ 로 훈련된 정책은 알레아토리적 노이즈를 무시하고 인식론적 불확실성(epistemic uncertainty)에 집중하는 데 성공했으며, 과업 특정적 보상( $r_{task}$ )으로 훈련된 정책과 대등하거나 이를 상회하는 성능을 달성했다.
- 모델 효율성: 실험을 통해 사전 학습된 시퀀스 모델(Prior-Fitted Networks)이 이러한 보상에 필요한 복잡한 베이지안 오라클(oracle)을 효과적으로 근사할 수 있음을 보여주었으며, 이는 내재적 호기심을 위한 ICL의 활용 가능성을 입증한다.

의의 및 주장
본 논문은 인컨텍스트 학습자를 사용할 때 예측 기반 내재적 보상과 베이지안 정보 이득 사이의 관계를 규명한 최초의 엄밀한 이론적 특성화를 제공한다고 주장한다. ICL이 고유한 편향과 인터페이스 제한으로 인해 일반적인 순차적 의사결정 과정에서 BIG를 완벽하게 복제할 수는 없지만, BED 설정에서는 내재적 호기즘을 성공적으로 지원할 수 있음을 입증하였다.

이 연구의 의의는 경사 기반의 세계 모델 업데이트를 피하면서도 계산 효율적인 방식으로 호기심 기반 탐색을 수행할 수 있는 경로를 제시했다는 점에 있다. $r_{sum}$ 과 $r_{dl}$ 이 능동 학습과 같은 특정 관련 설정에서 BIG를 점근적으로 회복할 수 있음을 증명함으로써, 본 연구는 거대 시퀀스 모델이 데이터 수집 정책을 위한 효과적인 "세계 모델" 역할을 할 수 있음을 시사하며, 이를 통해 에이전트가 명시적인 과업 정의나 파라미터 업데이트 없이도 최적으로 탐색할 수 있게 한다. 저자들은 시간적 구조를 가진 일반적인 BAMDP로 이를 확장하는 것은 추가적인 구조적 또는 방법론적 혁신이 필요한 미해결 과제로 남겨두며 신중한 태도를 유지했다.