🤖 machine learning

Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

본 논문은 사전 훈련된 대규모 언어 모델을 오프라인 오라클 라벨링 궤적에 대해 지도 미세 조정함으로써 MDP, POMDP 및 APOMDP 에 걸친 순차적 의사결정을 위한 맥락 내 학습 능력을 현저히 향상시켜, 특히 복잡하고 장기적이며 부분적으로 관측 가능한 환경에서 기존 방법보다 훨씬 낮은 최적성 격차를 달성함을 보여줍니다.

원저자: Minmin Zhang, Sina Aghaei, Soroush Saghafian

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minmin Zhang, Sina Aghaei, Soroush Saghafian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신은 지식이 풍부하고 독서량이 압도적인 도서관 사서 (대규모 언어 모델, 즉 LLM) 를 가지고 있습니다. 이 사서는 거의 전 세계의 모든 책을 읽었으며 매우 영리합니다. 하지만 실제로 비디오 게임을 해본 적이 있거나 복잡한 전략을 관리해 본 적은 없습니다. 이론은 알고 있지만, 승리를 위해 필요한 구체적인 수련은 해본 적이 없는 것입니다.

이 논문은 다음과 같은 질문을 던집니다: 이 도서관 사서에게 소수의 예시만을 사용하여 새롭고 까다로운 게임에서 일련의 현명한 결정을 내리는 법을 어떻게 가르칠 수 있을까요?

간단한 비유를 사용하여 이 논문의 접근 방식과 발견 사항을 다음과 같이 정리해 보겠습니다.

1. 도전 과제: "원샷 (One-Shot)" 대 "코치"

보통 도서관 사서에게 게임을 시키려면, 다른 사람이 게임을 하는 몇 가지 예시를 보여 주는 것 (이를 **맥락 학습 (In-Context Learning)**이라고 합니다) 으로 충분할 수 있습니다.

문제점: 게임이 단순하다면 사서는 그럭저럭 잘합니다. 하지만 게임이 길고 혼란스럽거나 숨겨진 규칙이 있는 경우 (적군이 보이지 않는 안개 낀 전장처럼) 사서는 길을 잃습니다. 그들은 그 순간 예시를 단순히 "읽고" 있을 뿐 근본적인 전략을 진정으로 이해하지 못하기 때문에 잘못된 수를 추측할 수 있습니다.

2. 해결책: "집중 코치 캠프" (지도 미세 조정)

게임 시작 직전에 사서에게 몇 가지 예시만 보여주는 대신, 저자들은 사서를 코치 캠프에 보냈습니다.

방법: 그들은 이미 게임을 이긴 전문가 (오라클) 가 만든 "완벽한 플레이" 비디오 (궤적) 의 거대한 도서관을 가져왔습니다. 그리고 이 비디오들을 사서에게 보여 주며 "전문가가 생각하고 행동하는 패턴을 배우라"고 말했습니다.
반전: 그들은 사서를 처음부터 다시 훈련시키지 않았습니다 (유아에게 읽기를 가르치는 것과 같기 때문입니다). 대신 QLoRA라는 기법 (지능형 어댑터) 을 사용했습니다. 이는 사서에게 특별한 안경이나 특정 플레이북을 주어, 기존 지식을 완전히 다시 쓰는 대신 이 새로운 유형의 게임을 마스터할 만큼만 미세하게 조정하는 것과 같습니다.

3. 테스트된 세 가지 게임 유형

연구자들은 이 코치 방법을 점점 더 어려워지는 세 가지 의사결정 시나리오에서 테스트했습니다.

MDP (투명한 방): 모든 것을 완벽하게 볼 수 있는 게임을 상상해 보세요. 왼쪽이나 오른쪽으로 움직이면 정확히 어디에 있고 무슨 일이 일어날지 알고 있습니다.
- 결과: 코치를 받은 사서는 코치를 받지 않은 사서보다 훨씬 더 잘했습니다. 특히 긴 게임에서 그랬습니다.
POMDP (안개 낀 방): 같은 게임이지만 이제 짙은 안개가 낀 상황을 상상해 보세요. 전체 보드를 볼 수 없으며, 주변 작은 부분만 보입니다. 제한된 단서를 바탕으로 적이 어디에 있는지 추측해야 합니다.
- 결과: 코치는 사서가 안개를 훨씬 더 잘 다루도록 도왔습니다. 코치를 받지 않은 사서는 쉽게 혼란스러워했지만, 코치를 받은 사서는 훈련 중에 배운 패턴을 바탕으로 "직감"을 신뢰하는 법을 배웠습니다.
APOMDP (속임수가 있는 안개 낀 방): 이것이 가장 어려운 단계입니다. 안개가 있을 뿐만 아니라, 시뮬레이션을 실행하는 사람에 따라 게임 규칙이 약간씩 다를 수 있습니다. 매번 플레이할 때마다 물리 법칙이 약간씩 변하는 게임을 하는 것과 같습니다.
- 결과: 코치를 받은 사서는 여전히 다른 모든 이보다 우수했습니다. 불확실성과 "속임수" 규칙을 처리할 만큼 충분히 견고한 법을 배웠습니다.

4. "왜" (이론)

저자들은 단순히 "작동한다"고 말하지 않고, 수학을 사용하여 왜 작동하는지 설명하려 했습니다.

비유: 그들은 사서의 주의 메커니즘 (텍스트의 특정 부분에 초점을 맞추는 방식) 을 계산기에 비유했습니다.
사서가 "코치" (미세 조정) 를 받을 때, 게임 도중 보여 주는 몇 가지 예시를 바탕으로 "최고의 수" (Q-함수) 를 계산하기 위해 주의 계층을 비밀리에 사용하도록 학습합니다.
그들은 수학적으로 사서의 실수가 두 가지 출처에서 비롯된다는 것을 증명했습니다:
1. 소수의 예시에서 오는 혼란: 나쁜 예시 하나만 보여 주면 혼란을 겪습니다.
2. 훈련에서 오는 편향: "코치 캠프"가 충분히 길지 않았다면, 완벽하지 않은 단축법을 배웠을 수 있습니다.
- 이 논문은 충분한 "완벽한 플레이" 비디오로 훈련함으로써 이러한 오류를 최소화할 수 있음을 보여줍니다.

5. 결과

무작위 추측보다 낫다: 코치를 받은 사서는 단순히 추측한 것이 아니라 전략적으로 플레이했습니다.
"단순히 읽기"보다 낫다: 코치를 받은 사서는 게임 직전에 예시만 보여 준 사서 (맥락 학습) 를 능가했습니다.
큰 승리: 코치는 가장 어려운 상황에서 가장 큰 도움을 주었습니다: 긴 게임, 안개 낀 환경, 그리고 까다롭고 변덕스러운 규칙을 가진 게임들. 어떤 긴 게임에서는 코치를 받은 사서가 코치를 받지 않은 버전보다 "실수율"을 절반으로 줄였습니다.

요약

이 논문은 지능형 사전 훈련 AI 에 오프라인 데이터 (완벽한 플레이의 비디오) 를 사용하여 구체적인 "코치 캠프"를 제공하면, 그것이 순차적 의사결정의 대가가 된다는 것을 보여줍니다. 즉흥적으로 "해결해 보라"고 요청하는 것보다 장기 계획, 숨겨진 정보, 불확실한 규칙을 훨씬 더 잘 처리하는 법을 배웁니다.

범위에 대한 주의: 저자들은 구체적으로 합성 게임 (에너지 관리나 그리드 세계와 같은 시뮬레이션 환경) 에서 이를 테스트했습니다. 그들은 이것이 데이터는 풍부하지만 실험 비용이 비싼 의료와 같은 실제 분야에 유용할 수 있다고 언급하지만, 논문 자체는 이러한 시뮬레이션 게임에서 나온 결과만 제시합니다. 이 연구에서는 실제 환자나 실제 병원 데이터에 대해 테스트하지 않았습니다.

기술 요약: 지도 미세추정을 통한 순차적 의사결정을 위한 대규모 언어 모델

문제 제기

불확실성 하의 순차적 의사결정은 임상 치료 계획 수립 및 자원 관리와 같은 고위험 분야에서 중요합니다. 동적 치료 체계 (DTRs) 는 관찰 데이터로부터 학습하기 위한 프레임워크를 제공하지만, 종종 모든 교란 변수가 관찰 가능하다는 강한 가정인 순차적 무작위성 (sequential ignorability) 에 의존합니다. 실제로는 관찰 불가능한 교란 변수로 인해 모호한 동적 치료 체계 (ADTRs) 가 필요하며, 이는 단일 모델이 아닌 일련의 타당한 모델들 (모델 모호성) 에 대해 정책을 평가합니다. 이는 모호한 부분 관측 가능 마르코프 의사결정 과정 (APOMDPs) 에 해당합니다.

대규모 언어 모델 (LLMs) 은 놀라운 문맥 내 학습 (ICL) 능력을 입증해 왔으나, 순차적 의사결정에의 적용은 제한적이었습니다. 이전 연구들은 주로 트랜스포머를 처음부터 훈련시키고, 완전히 관측 가능한 마르코프 의사결정 과정 (MDPs) 에 초점을 맞추며, 실제 환경에서 발견되는 부분 관측 가능성과 모델 모호성의 과제를 간과했습니다. 본 논문은 오프라인 오라클 레이블 데이터를 사용하여 MDP, POMDP 및 APOMDP 에서 순차적 의사결정을 위해 사전 훈련된 LLM 을 활용하는 간극을 해소합니다.

방법론

저자들은 사전 훈련된 LLM 이 퓨샷 (few-shot) 순차적 의사결정을 수행할 수 있도록 지도 미세추정 (SFT) 을 적응시키는 프레임워크를 제안합니다.

1. 프레임워크 개요

트랜스포머를 처음부터 훈련하는 대신, 저자들은 오픈소스 사전 훈련된 LLM(특히 Llama-2-7B) 을 매개변수 효율적인 QLoRA(양자화 저랭크 어댑터) 를 사용하여 미세추정합니다. 모델은 최적 (또는 준최적) 행동 오라클이 생성한 오프라인 궤적들로 훈련됩니다.

훈련: 모델은 텍스트 형식으로 직렬화된 관찰, 행동, 보상의 이력을 기반으로 다음 행동 토큰을 예측하도록 학습합니다. 손실 함수는 이러한 직렬화된 궤적에 대한 표준 다음 토큰 예측 손실입니다.
추론: 테스트 시점에 모델은 새로운 작업의 퓨샷 컨텍스트 (시연 궤적) 와 현재 이력을 제공합니다. 추가 매개변수 업데이트 없이 새로운 작업에 대한 행동을 생성하며, 문맥 내 예시에 조건부인 정책으로 효과적으로 작용합니다.

2. 이론적 분석

본 논문은 SFT 가 성능을 향상시키는 이유를 이해하기 위해 선형 MDP에 초점을 맞춘 이론적 분석을 제공합니다.

해석: 저자들은 훈련된 선형 자기주의 (LSA) 계층이 문맥 내 데이터로부터 최적 Q-함수의 매개변수를 암묵적으로 추정한다고 해석합니다.
비최적성 상한: 유도된 정책에 대한 엔드 투 엔드 비최적성 상한을 도출합니다. 이 상한은 오류를 두 가지 명확한 구성 요소로 분해합니다:
1. 문맥 내 추정 오차: 퓨샷 지원 궤적의 수 ( $K_{test}$ ) 가 증가함에 따라 감소합니다.
2. 훈련 길이 편향: 훈련 궤적의 수 ( $K$ ) 가 증가함에 따라 감소합니다.
핵심 통찰: 분석은 지원 궤적을 늘리는 것이 특정 작업을 추정하는 데 도움이 되는 반면, 훈련 데이터의 양을 늘리는 것은 장기 작업에 중요한 훈련 시퀀스의 유한한 길이로 인한 편향을 줄인다고 시사합니다.

주요 기여

순차적 의사결정을 위한 SFT 프레임워크: 저자들은 오프라인 궤적에 사전 훈련된 LLM 을 미세추정하여 추가 매개변수 업데이트 없이 퓨샷 시연을 통해 새로운 작업에 일반화할 수 있는 방법을 소개합니다.
오프라인 오라클 데이터 활용: 이 프레임워크는 고품질 훈련 궤적을 합성하기 위해 오프라인 데이터셋과 최적 행동 오라클을 결합합니다. 이는 실험이 비용이 많이 들거나 비윤리적인 의료 분야와 같이 전문가 유도 감독이 로그 데이터에서 구축될 수 있는 분야와 특히 관련이 있습니다.
오차의 이론적 분해: 본 논문은 문맥 내 추정 오차와 훈련 길이 편향을 분리하는 이론적 상한을 제공하여 SFT 로 관찰된 성능 향상에 대한 공식적 설명을 제시합니다.
복잡한 환경에 대한 경험적 평가: 연구는 표준 MDP 를 넘어 POMDP(부분 관측 가능성) 와 APOMDP(모델 모호성) 를 포함하도록 평가를 확장하여, 더 현실적이고 도전적인 환경에서의 견고성을 입증합니다.

실험 결과

저자들은 MDP, POMDP, APOMDP 설정에 대한 합성 작업에서 SFT-LLM 을 무작위 기준선, ICL 전용 기준선, 그리고 의사결정 사전 훈련 트랜스포머 (DPT) 와 비교하여 접근법을 평가합니다.

성능 향상: 미세추정된 LLM 은 무작위 정책과 ICL 전용 기준선 모두에 비해 현저히 작은 최적성 격차를 달성합니다.
- MDP에서 SFT 는 장기 설정에서 최적성 격차를 약 절반으로 줄입니다 (예: $T=15$ 에서 격차를 약 43% 에서 약 15% 로 감소).
- POMDP와 APOMDP에서 성취는 더욱 두드러지며, SFT-LLM 은 부분 관측 가능성 ( $q=0.8$ ) 과 모델 모호성 하에서도 낮은 최적성 격차를 유지합니다.
DPT 와의 비교: SFT 접근법은 모든 설정에서 DPT 를 일관되게 능가합니다. 특히 APOMDP 의 비관적 기준 ( $\alpha=1.0$ ) 하에서 모호성 집합 크기가 증가함에 따라 DPT 와 SFT-LLM 간의 성능 격차가 벌어지는 반면, SFT-LLM 은 안정적으로 유지됩니다.
견고성: 모델은 분포 외 (OOD) 테스트 조건에 대한 견고성을 보여주며, 훈련 분포 밖의 매개변수 (예: 다른 전이 확률 또는 관찰 노이즈 수준) 로 테스트될 때 낮은 최적성 격차를 유지합니다.
다크룸 작업: 희소 보상과 숨겨진 목표가 있는 까다로운 다크룸 작업에서 SFT-LLM 은 오라클 성능의 약 95% 를 달성하여 무작위 정책을 크게 능가합니다.

중요성과 주장

본 논문은 지도 미세추정이 오프라인 데이터에서 파생된 순차적 의사결정 능력을 사전 훈련된 LLM 에 부여하는 효과적인 경로라고 주장합니다. 이는 다음과 같은 이유로 중요합니다:

사전 훈련 동안 획득한 광범위한 표현 능력을 활용하여 다양한 작업 간의 일반화를 잠재적으로 향상시킵니다.
오프라인 데이터는 풍부하지만 온라인 실험이 제한적인 의료와 같은 분야에 실용적인 해결책을 제공합니다.
기존 ICL 의사결정 문헌에서 종종 간과되는 부분 관측 가능성과 모델 모호성이 포함된 복잡한 의사결정 시나리오를 LLM 이 처리할 수 있음을 입증합니다.
오차의 이론적 분해는 훈련 데이터 양과 문맥 내 예시가 정책 품질을 결정하는 방식에 대한 원칙적인 이해를 제공합니다.

저자들은 미세추정의 계산 비용, 복잡한 문제에 대해 계산하기 어려울 수 있는 최적 오라클에 대한 의존성, 그리고 이론적 분석을 위한 선형 MDP 에 대한 초점 등 한계를 인정합니다. 향후 연구는 이 프레임워크를 실제 임상 데이터셋에 적용하고, 오라클 감독에 대한 의존성을 줄이며, 멀티모달 환경을 탐구하는 데 초점을 맞춰야 한다고 제안합니다.