💬 NLP

Emergence of Context Characteristics Sensitivity in Large Language Models

이 논문은 지도 미세 조정(supervised fine-tuning), 직접 선호 최적화(direct preference optimization), 그리고 강화 학습(reinforcement learning) 단계에 걸쳐 대규모 언어 모델의 문맥 특성에 대한 민감도가 어떻게 진화하는지를 조사하며, 이러한 선호도가 각 단계에서 능동적으로 재형성된다는 점을 밝히고 견고한 문맥 활용을 위한 균형 잡힌 지시 미세 조정 데이터셋의 결정적인 중요성을 강조한다.

원저자: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대규모 언어 모델(LLM)을 교실에 앉아 있는 매우 똑똑한 학생이라고 상상해 보세요. 이 학생은 머릿속에 방대한 사실들을 암기하고 있지만(파라미터 지식), 선생님은 질문을 던질 때마다 특정 교과서 페이지(컨텍스트)를 건네줍니다. 목표는 학생이 이미 알고 있는 지식은 무시하고, 오직 방금 읽은 내용만을 바탕으로 질문에 답하는 것입니다.

이 논문은 이 학생이 세 가지 특정 "훈련 캠프"(지시 미세 조정 단계)를 거치며 어떻게 교과서를 사용하는 법을 배우는지 조사합니다: SFT, DPO, 그리고 RLVR. 연구진은 알고 싶었습니다: 학생이 교과서를 주의 깊게 읽는 법을 배우는가, 아니면 교과서의 겉모습에 기반해 지름길을 찾기 시작하는가?

다음은 쉬운 비유를 사용한 연구 결과의 요약입니다:

1. 세 가지 훈련 캠프

학생의 교육 과정을 세 단계로 나누어 생각해보세요:

1단계: SFT (지도 미세 조정): 이는 학생이 정답지가 있는 숙제를 하는 것과 같습니다. 학생은 "질문 + 교과서 페이지 = 정답"인 수많은 예시를 보여받습니다.
2단계: DPO (직접 선호 최적화): 이는 토론 클럽과 같습니다. 학생에게 동일한 질문에 대한 두 가지 서로 다른 답변을 보여줍니다. 선생님은 "나는 답변 A가 답변 B보다 좋아"라고 말합니다. 학생은 "선호되는" 답변을 모방하는 법을 배웁니다.
3단계: RLVR (검증 가능한 보상을 통한 강화 학습): 이는 학생이 정답을 정확히 맞혔을 때만 점수를 받는 기말고사와 같습니다. (논문에서는 이 단계가 실행 비용이 매우 많이 들기 때문에 주로 처음 두 단계만을 연구했습니다.)

2. 1단계(SFT)에서 배운 "지름길"

첫 번째 훈련 캠프(SFT) 동안, 학생은 매우 구체적이고 다소 게으른 습관을 배웁니다. 그들은 정보가 실제로 사실인지 여부보다는 읽기 얼마나 쉬운지에 따라 교과서 페이지를 신뢰할지 결정하기 시작합니다.

연구진은 학생이 다음과 같은 특징을 선호하기 시작한다는 것을 발견했습니다:

긴 텍스트: 학생은 "텍스트가 길면 중요한 것이 틀림없어"라고 생각합니다. (실제로 그들은 더 짧은 텍스트를 선호하는 경우가 많습니다. 왜냐하면 더 소화하기 쉽기 때문입니다. 하지만 논문은 여기서 복잡한 관계를 언급합니다. 일반적으로 그들은 처리하기 쉬운 텍스트를 선호합니다.)
익숙한 단어: 만약 교과서 페이지가 질문과 똑같은 단어를 사용한다면, 학생은 "아하! 이게 맞는 페이지구나!"라고 생각합니다. 설령 그 의미가 틀렸더라도 말이죠.
유창성: 만약 텍스트가 매끄럽고 완벽한 문법으로 쓰여 있다면, 학생은 그것을 신뢰합니다. 만약 텍스트가 투박하거나 오타가 있다면, 학생은 그 투박한 텍스트에 올바른 사실이 들어있더라도 이를 무시합니다.

비유: 학생이 경연 대회의 심사위원이 되었다고 상상해 보세요. 그들은 연설의 내용을 심사하는 대신, 글꼴 크기나 목소리의 매끄러움을 심사합니다. 연설이 크고 명확하면 "예"라고 투표합니다. 만약 연설이 작거나 말을 더듬으면, 내용이 무엇이든 상관없이 "아니오"라고 투표합니다.

3. 2단계(DPO)에서의 "교정"

두 번째 캠프(DPO)에서 연구진은 이러한 나쁜 습관을 고치려고 시도했습니다. 그들은 학생이 지름길을 버리고 내용을 주의 깊게 읽기 시작하기를 기대했습니다.

반전: 결과는 전적으로 선생님이 무엇을 가르치느냐에 달려 있었습니다.

만약 선생님이 "좋은" 답변은 길고 유창하며, "나쁜" 답변은 짧고 투박한 예시들만 주었다면, 학생은 자신의 나쁜 습관을 더 강화했습니다. 그들은 "길고 유창함 = 좋음"이라는 것을 배웠습니다.
하지만, 만약 선생님이 예시들을 세심하게 균형 있게 구성하여(좋은 답변과 나쁜 답변의 길이와 유창성을 동일하게 만듦), 학생은 지름길을 학습하여 버렸습니다. 학생은 텍스트의 겉모습에 의존하는 것을 멈추고 실제 내용에 의존하기 시작했습니다.

비유: 이는 운동선수를 가르치는 코치와 같습니다. 만약 코치가 빨간 신발을 신은 선수에게만 칭찬을 한다면, 선수는 빨간 신발이 자신을 더 빠르게 만든다고 생각할 것입니다. 만약 코치가 선수가 달리기 기술에 집중하도록 가르치고 싶다면, 빨간 신발과 파란 신발을 신은 선수 모두를 똑같이 칭찬해야 합니다. 만약 코치가 부주의하다면, 선수는 달리기 대신 계속해서 신발에만 집중하게 될 것입니다.

4. 핵심 결론

논문은 모델의 컨텍스트 활용 능력은 고정된 특성이 아니라, 훈련의 모든 단계에서 능동적으로 형성된다고 결론짓습니다.

SFT는 모델이 텍스트가 얼마나 "보기 좋은지"(유창성, 단어 중복)에 기반해 지름길을 택하도록 자연스럽게 유도합니다.
DPO는 데이터가 어떻게 큐레이션되느냐에 따라 이를 악화시킬 수도, 혹은 해결할 수도 있습니다.

교훈: 만약 당신이 제공된 정보를 신뢰성 있게 사용하는 모델(그리고 텍스트가 얼마나 "예쁜지"에 의해 방해받지 않는 모델)을 원한다면, 단순히 데이터를 훈련 과정에 쏟아부어서는 안 됩니다. "좋은" 예시와 "나쁜" 예시가 길이, 유창성, 단어 선택 측면에서 균형을 이루도록 데이터셋을 매우 세심하게 큐레이션해야 합니다. 그렇지 않으면 모델은 그저 책의 표지만 보고 판단하는 법을 배우게 될 것입니다.

기술 요약: 대규모 언어 모델에서의 문맥 특성 민감도 발현

문제 정의

대규모 언어 모델(LLM)은 제공된 문맥을 활용하여 질문에 답하는 능력을 갖추고 있으며, 이는 검색 증강 생성(RAG) 및 도구 사용과 같은 애플리케이션에 필수적인 특성입니다. 그러나 이러한 활용은 종로종로 종종 취약합니다. 모델은 파라미터 지식(parametric knowledge)을 선호하여 문맥을 무시하거나, 무관한 정보에 의해 주의가 분산될 수 있습니다. 이전 연구들은 특정 문맥 특성(예: 길이, 유창성, 유사성)과 추론 시의 문맥 활용도 사이에 상관관계가 있음을 입증했지만, 모델이 훈련 과정에서 이러한 민감도를 어떻게 '습득'하는지에 대한 메커니즘은 아직 탐구되지 않았습니다. 특히, 지시어 미세 조정(Instruction Fine-Tuning, IFT) 단계가 이러한 특성에 대한 모델의 의존도를 어떻게 형성하는지는 불분명합니다.

방법론

저자들은 세 가지 서로 다른 IFT 단계인 지도 미세 조정(Supervised Fine-Tuning, SFT), 직접 선호 최적화(Direct Preference Optimization, DPO), 그리고 검증 가능한 보상을 통한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)에 걸쳐 "문맥 특성 민감도"(특성의 값이 모델의 문맥 사용 여부에 영향을 미치는 정도)의 진화를 조사합니다.

실험 설정

모델: 본 연구는 Llama-3.1-8B, Llama-3.2-1B, OLMo-2-1B, Llama-3.2-1B, OLMo-2-7B의 네 가지 모델을 평가합니다. 단계별 분석(한 단계 내에서의 변화 추적)을 위해, Llama-3.2-1B를 OLMo-2-1B와 동일한 데이터셋으로 미세 조정합니다.
데이터셋: 작업 형식과 문맥-지식 관계의 다양성을 보장하기 위해 세 가지 데이터셋을 활용합니다:
- ConflictQA 및 Context-Reliance: 반사실적(counterfactual) 문맥을 포함한 개방형 QA 작업으로, 정확도가 순수한 문맥 활용도를 반영하도록 합니다.
- DRUID: 현실적인 문맥-지식 상호작용을 반영하는 클레임 검증 작업입니다.
문맥 특성: 세 가지 계열의 특성을 추출하고 측정합니다:
1. 유사성(Similarity): 자카드 유사도(토큰 중첩) 및 쿼리-엔티티 중첩.
2. 유창성(Fluency): Flesch 읽기 쉬움 점수 및 퍼플렉서티(Perplexity).
3. 길이(Length): 문맥과 쿼리에 대한 원시 문자 수.
평가 지표: 민감도는 수신자 조작 특성 곡선 아래 면적(AUROC)을 사용하여 정량화합니다. 이는 특정 특성 값이 정확한 예시(모델이 문맥을 올바르게 사용한 경우)를 부정확한 예시보다 얼마나 잘 상위에 랭크시키는지를 측정합니다. AUROC > 0.5는 높은 특성 값이 정확한 문맥 사용과 상관관계가 있음을 나타냅니다.

주요 결과

1. SFT 과정에서의 민감도 형성

본 연구는 SFT가 모든 모델과 데이터셋에 걸쳐 일관되게 특정 집합의 민감도를 심어준다는 것을 발견했습니다. SFT 동안 모델은 "이해하기 쉬운" 문맥을 선호하는 경향을 보입니다:

유사성: 문맥-쿼리 자카드 유사도에 대한 AUROC가 증가하며, 이는 모델이 어휘적 중첩에 더 크게 의존함을 나타냅니다.
유창성: 퍼플렉서티에 대한 AUROC가 감소합니다(즉, 낮은 퍼플렉서티가 정확도와 상관관계가 있음). 이는 모델이 유창하고 자연스러운 텍스트를 선호함을 보여줍니다.
길이: 문맥 길이에 대한 AUROC가 감소하며, 이는 모델이 통합하기 더 쉬운 짧은 문맥을 선호함을 시사합니다.

결정적으로, 저자들은 이러한 민감도가 SFT 중에 증가함에도 불구하고, 이것이 정확도 향상으로 이어지지는 않는다는 점에 주목합니다. 이는 모델이 내용의 관련성이나 진실성을 진정으로 평가하기보다는, 문맥 사용을 나타내는 지표로서 이러한 특성들을 '지름길(shortcut)'로 이용하고 있음을 시사합니다.

2. DPO 및 데이터셋 특성

DPO의 영향은 균일하지 않으며, 선호 데이터셋(선택된 응답과 거부된 응답 간의 차이)의 특성에 크게 의존합니다.

해결 vs 강화: 어떤 경우(예: Llama-3.2-1B)에는 DPO가 SFT 중에 학습된 민감도를 해결하여, 이를 사전 SFT 수준으로 되돌립니다.
데이터 불균형: 다른 경우(예: Llama-3.1-8B)에는 DPO가 기존의 민감도를 증폭시킵니다. 저자들은 이를 훈련 데이터 내에서 선택된 응답과 거부된 응답 사이의 어휘적 특성 차이( $\Delta$ ) 때문이라고 설명합니다. 만약 선호 데이터셋에서 선택된 응답이 거부된 응답과 길이 또는 유창성 면에서 크게 다르다면, DPO는 모델이 해당 특정 특성에 편향되도록 강화합니다.
작업 의존성: DPO의 효과는 개방형 QA 작업에 비해 DRUID 클레임 검증 작업에서는 일관성이 떨어지는 것으로 나타납나다.

3. RLVR 트렌드

RLVR는 계산 비용 문제로 단계별 분석을 수행하지 않았으나, 결과는 RLVR가 DPO가 확립한 효과의 방향을 대체로 유지한다는 것을 보여줍니다. 이는 두 방식이 공유하는 KL 정규화 목적 함수와 일치합니다.

의의 및 기여

본 논문의 주요 기여는 문맥 활용이 정적인 모델 속성이 아니라, 각 IFT 단계에서 능동적으로 재형성된다는 것을 입증한 데 있습니다.

지름길 학습자로서의 SFT: 저자들은 SFT가 모델에게 내용의 관련성을 견고하게 평가하는 법 대신, 표면적인 특성(유창성, 길이, 중첩)을 관련성의 대리 지표(proxy)로 이용하도록 가르친다는 점을 밝혀냈습니다.
데이터 큐레이션의 중요성: 본 연구 결과는 DPO의 선호 데이터셋 설계가 매우 중요하다는 점을 강조합니다. SFT 중에 형성된 편향을 상쇄하고 견고한 문맥 활용을 보장하기 위해서는, 선호 데이터셋의 선택된 응답과 거부된 응답이 유사한 문맥 특성을 공유하도록 신중하게 큐레이션되어야 합니다. 이러한 데이터셋의 불균형은 의도치 않게 비견고한 행동을 강화할 수 있습니다.

한 исследования의 한계

저자들은 본 연구가 두 가지 모델 패밀리(Llama 및 OLMo)와 각각 두 가지 규모에 국한되어 있다는 점을 인정합니다. 이는 훈련 역학을 분석하기에는 적절하지만, 더 넓은 범위의 아키텍처에 대한 포괄적인 연구는 향후 과제로 남아 있습니다. 또한, 본 연구는 세 가지 잘 정립된 계열의 특성에 집중하고 있으나, 문맥 활용에 영향을 미칠 수 있는 다른 요인들이 존재할 수 있습니다.