💬 NLP

Token-Level Off-Policy Learning for Faithful Generation Under Distribution Shift

이 논문은 요약 및 기계 번역과 같은 충실한 생성 작업 전반에 걸쳐 강력한 분포 외 일반화와 해석 가능한 모델 업데이트를 달성하기 위해, 사후 학습을 토큰 수준의 정답 예측 작업으로 재구성하는 훈련 패러다임인 토큰 수준 오프-폴리 레이블링(Token-Level Off-Policy Labeling, TOPL)을 제안한다.

원저자: Zitong Huang, Gustavo Lucas Carvalho, Deqing Fu, Robin Jia

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zitong Huang, Gustavo Lucas Carvalho, Deqing Fu, Robin Jia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 환각 사냥: AI에게 자신의 실수를 찾아내는 법 가르치기

당신이 매우 똑똑하고 빠른 로봇에게 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 책 한 권을 주고 요약본을 쓰라고 시킵니다. 하지만 가끔 로봇은 지나치게 창의력을 발휘하곤 합니다. 유명한 과학자가 엉뚱한 도시나 잘못된 날짜에 태어났다고 말할 수도 있죠. 우리는 이러한 실수를 "환각(hallucinations)"이라고 부릅니다. 인공지능(AI)의 세계에서 이것은 큰 문제입니다. 만약 로봇이 사실을 지어낸다면, 우리는 언어 번역이나 뉴스 요약 같은 실제 작업에 로봇을 신뢰하며 사용할 수 없기 때문입니다.

이를 해결하기 위해 과학자들은 다양한 훈련 방법을 시도해 왔습니다. 한 가지 인기 있는 방법은 "강화 학습(Reinforcement Learning)"인데, 이는 로봇이 좋은 답에는 점수를 얻고 나쁜 답에는 점수를 잃는 비디오 게임과 같습니다. 하지만 로봇이 배우기 위해 수백만 번 연습해야 하므로 이 방법은 종종 느리고 복로가 복잡합니다. 또 다른 방법은 "오프-폴리시(Off-Policy)" 학습으로, 이는 스스로 테스트를 연습하는 대신 선생님의 정답지를 공부하는 것과 같습니다. 이 방법은 더 빠르지만, 로봇이 본 적 없는 질문을 마주했을 때 여전히 혼란을 느낄 수 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 이러한 빠르고 단순한 방법들이, 특히 로봇이 새롭고 까다로운 상황에 직면했을 때 더 잘 작동하게 만들 수 있을까?

새로운 전략: "토큰 탐정"

이 논문은 토큰 레벨 오프-폴리시 레이블링(Token-Level Off-Policy Labeling), 줄여서 TOPL이라 불리는 새로운 훈련 방법을 소개합니다. "토큰(token)"을 문장의 단일 단어나 단어의 작은 조각이라고 생각해 보세요. 보통 우리가 AI를 훈련할 때, 우리는 로봇에게 "빈칸 채우기" 게임처럼 문장의 다음 단어를 예측하도록 요청합니다. 하지만 TOPL은 이 게임의 판도를 완전히 바꿉니다. TOPL은 로봇에게 다음 단어를 쓰라고 요구하는 대신, 로봇을 탐정으로 변신시킵니다.

당신이 로봇이 쓴 요약본을 가지고 있다고 상상해 봅시다. 어떤 부분은 사실이지만(예: "마리 퀴리는 폴란드에서 태어났다"), 어떤 부분은 지어낸 거짓말입니다(예: "마리 퀴리는 슬로바키아에서 태어났다"). TOPL은 로봇이 그 요약본의 모든 단어 하나하나를 살펴보며 다음과 같이 묻도록 훈련합니다: "이 단어는 사실인가, 아니면 거짓인가?" 이는 각 단어에 대해 "예" 또는 "아니오"라는 단순한 레이블을 부여합니다. 이렇게 함으로써, 로봇은 단순히 시퀀스상의 다음 단어를 추측하는 것이 아니라, 사실적인 토큰과 환각된 토큰의 차이를 식별하는 법을 배웁니다.

작동 원리: "조종(Steering)"의 마법

연구자들은 로봇에게 이 탐정 기술을 가르치기 위해 **LoRA(Low-Rank Adaptation)**라는 특별한 도구를 사용했습니다. LoRA를 로봇의 뇌에 끼울 수 있는 작은 탈부착형 보조 바퀴나 "조종 키트"라고 생각하면 됩니다.

여기 영리한 부분이 있습니다. 연구자들은 로봇이 이런 방식으로 학습할 때 뇌가 자연스럽게 두 부분으로 나뉜다는 것을 발견했습니다.

탐지기 (LoRA-A): 이 부분은 레이더처럼 작동합니다. 로봇의 숨겨진 생각을 스캔하여 "이 특정 단어가 사실적으로 옳은가?"를 파악합니다. 즉, "좋은" 단어와 "나쁜" 단어를 분리합니다.
조종 핸들 (LoRA-B): 탐지기가 "나쁜" 단어를 포착하면, 조종 핸들에 명령하여 로봇의 생각을 다른 방향으로 밀어냅니다. 이는 마치 "당신은 거짓을 향해 가고 있습니다. 진실을 향해 왼쪽으로 도세요"라고 말해주는 GPS를 가진 것과 같습니다.

논문은 TOPL이 잘 작동하는 이유가 단순히 정답을 암기하는 것이 아니라, 새로운 주제를 접하더라도 거짓으로부터 자신의 생각을 조종하여 사실로 이끄는 법을 배우기 때문이라고 제안합니다.

연구 결과: 다른 방식보다 우수함

연구자들은 이 새로운 "탐정" 방법을 문서 요약과 관련된 11가지 서로 다른 데이터셋에 대해 테스트했습니다. 그들은 TOPL을 표준 훈련(SFT), 시퀀스 레벨 선호도 최적화(DPO), 그리고 다른 토큰 레벨 방법들을 포함한 다른 인기 있는 방법들과 비교했습니다.

결과: TOPL은 특히 로봇이 보지 못한 새로운 데이터(out-of-distribution)로 테스트되었을 때, 모든 다른 방법보다 일관되게 우수한 성능을 보였습니다. TOPL은 요약본의 사실성을 유지하는 데 있어 가장 정확했습니다.
놀라운 점: 연구자들은 또한 문장 전체를 바라보는 방식(SOPL이라 불림)으로 자신들의 방법을 변형하여 테스트했습니다. 결과는 기대에 미치지 못했습니다. 이는 "탐정" 접근법이 효과적이려면 개별 단어(토큰) 단위로 들여다봐야 한다는 것을 증명합니다. 큰 그림을 보는 것만으로는 충분하지 않으며, 한 번에 한 단어씩 거짓을 잡아내야 합니다.
전이 가능성: 그들은 또한 이 기술을 기계 번역(한 언어를 다른 언어로 바꾸는 작업)에도 적용해 보았습니다. TOPL은 번역에서도 훌륭하게 작동했으며, 이는 이 "탐정" 기술이 요약뿐만 아니라 다양한 유형의 글쓰기 작업에 유용하다는 것을 시사합니다.

제외된 사항들

이 논문은 무엇이 효과가 없는지도 명확히 짚고 있습니다.

무작위 추측: 만약 로봇에게 무작위 레이블(거짓을 참이라고 하고, 참을 거짓이라고 말하는 것)을 준다면, 로봇은 혼란에 빠져 성능이 저하됩니다. 이는 로봇이 단순히 패턴을 암기하는 것이 아니라, 진실과 거짓의 차이를 실제로 배워야 한다는 것을 보여줍니다.
단순히 "토큰 레벨"인 것만으로는 부족함: 단순히 단어를 하나씩 보는 것 자체가 마법의 비결은 아닙니다. 단어를 하나씩 살펴보는 다른 방법들은 TOPL만큼의 성과를 내지 못했습니다. TOPL이 진실과 거짓을 구별하도록 로봇을 훈련시키는 특정한 방식이 차이를 만드는 핵심입니다.
"최종" 레이어: 연구자들은 만약 로봇의 뇌 마지막 레이어에 훈련용 보조 바퀴(LoRA)를 설치하려고 하면 오히려 상황이 악화된다는 것을 발견했습니다. 가장 좋은 결과는 "중간" 레이어를 훈련할 때 나왔습니다. 중간 레이어가 사실을 이해하는 데 있어 핵심적인 역할을 하는 반면, 마지막 레이어는 단지 최종 단어를 내뱉는 역할만 하기 때문인 것으로 보입니다.

결론

저자들은 TOPL이 AI를 더 정직하게 만드는 강력한 새로운 방법이라고 제唆합니다. 모델이 모든 단어의 진실성을 심판하는 비평가 역할을 하도록 훈련시키고, 그 판단을 사용하여 모델의 생각을 "조종"하게 함으로써, 그들은 속이기 훨씬 어려운 시스템을 만들어냈습니다. 비록 그들이 "환각" 문제를 영원히 해결한 것은 아니지만, 그들의 실험은 이 "토큰 레벨 탐정" 접근법이 AI가 사실에 충실하도록 가르치는 더 단순하고 효과적인 방법을 제시하는 중요한 진전임을 강력하게 시사합니다.

기술 요약: 충실한 생성을 위한 토큰 수준 오프-폴리시 학습 (Token-Level Off-Policy Learning)

문제 정의
대규모 언어 모델(LLM)은 특히 분포 변화(Out-of-Distribution 또는 OOD 설정) 상황에서 콘텐츠를 생성할 때 환각(hallucination)과 사실적 불일치 문제를 빈번하게 겪습니다. 인간 피드백을 통한 강화 학습(RLHF)과 DPO(Direct Preference Optimization)와 같은 오프-폴리시 방법론이 정렬(alignment)을 개선해 왔으나, 이들은 주로 시퀀스 수준의 감독(supervision)에 의존합니다. 이러한 거친 입도(granularity)는 특정 사실적 오류를 정확히 짚어내는 데 한계가 있습니다. 또한, 온-폴리시(on-policy) 방법(예: GRPO)은 온라인 샘플링으로 인한 높은 계산 복잡성을 수반하는 반면, 기존의 오프-폴리시 토큰 수준 접근 방식은 보상 모델링을 통합된 학습 목표가 아닌 별도의 구성 요소로 취급하는 경우가 많습니다. 본 논문은 오프-폴리시 학습의 단순함을 유지하면서도, 사실성과 OOD 일반화 능력을 향상시키기 위해 미세한 토큰 수준의 감독을 제공할 수 있는 방법론의 필요성을 제기합니다.

방법론: 토큰 수준 오프-폴리시 레이블링 (TOPL)
저자들은 사후 학습(post-training)을 다음 토큰 예측 작업이 아닌, 토큰 수준의 이진 분류 작업으로 재정의하는 학습 패러다임인 **토큰 수준 오프-폴리시 레이블링 (TOPL)**을 제안합니다.

데이터 구축: 이 방법은 문서, 정답 요약문, 그리고 변형된("오염된") 요약문을 포함하는 데이터셋(FAVA 기반)을 활용합니다. 오염은 토큰 삽입, 삭제 또는 교체를 통해 도입되어 환각 현상을 시뮬레이션합니다. 응답의 각 토큰에는 충실함(정답)을 의미하는 $1 $과 비충실함(오염됨)을 의미하는$ 0$의 이진 레이블이 할당됩니다.
학습 목표: 다음 토큰 예측을 위한 언어 모델링 헤드를 최적화하는 대신, TOPL은 사전 학습된 모델의 중간 레이어에 경량화된 **보상 헤드(reward head)**를 부착합니다. 모델은 특정 토큰이 입력 컨텍스트와 사실적으로 일치할 확률을 예측하도록 학습됩니다.
아키텍처 및 LoRA: 학습은 저차원 적응(LoRA)을 사용하여 수행됩니다. 모델은 이진 교차 엔트로피 손실(binary cross-entropy loss)을 통해 양질의 토큰과 나쁜 토큰을 구별하는 법을 배웁니다. 결정적으로, 학습이 끝난 후 보상 헤드는 폐기되며, 학습된 LoRA 가중치는 베이스 모델에 병합되어 원래의 디코딩 헤드를 사용하는 생성 모델을 만듭니다.
조건부 스티어링으로서의 해석: 저자들은 TOPL을 조건부 스티어링(conditional steering)의 관점에서 해석합니다. 저자들은 LoRA-A 행렬이 조건부 투영 메커니즘(토큰의 정확성을 분류) 역할을 하고, LoRA-B 행렬은 분류 신호에 따라 은닉 상태(hidden states)를 사실적 행동 쪽으로 혹은 멀어지게 하는 스티어링 벡터(steering vectors)를 정의한다고 가설을 세웁니다.

주요 기여

새로운 학습 패러다임: 토큰 수준의 보상 학습과 정책 최적화를 단일 오프-폴리시 프레임워크로 통합하여 온라인 샘플링의 복잡성을 피하는 TOPL을 도입했습니다.
메커니즘적 통찰: TOPL이 학습된 LoRA 구성 요소가 선형 분류 헤드(LoRA-A)와 스티어링 벡터(LoRA-B)로서 기능하며 해석 가능한 모델 업데이트를 유도한다는 분석을 제시했습니다.
경험적 검증: TOPL이 OOD 설정에서 시퀀스 수준의 베이스라인(SFT, DPO, SOPL) 및 기존의 토큰 수준 베이스라인(TDPR, TLDR, Unlikelihood Training)보다 우수한 성능을 보임을 종합적인 평가를 통해 입증했습니다.

실험 결과

문서 요약: Qwen3-8B, Llama-3.1-8B, Gemma-3-4B를 사용하여 AggreFact의 11개 OOD 데이터셋에서 평가되었습니다. TOPL은 모든 백본 모델에서 가장 높은 평균 사실성 점수를 달성했습니다.
- 입도에 대한 절제 연구(Ablation on Granularity): 시퀀스 수준의 유사 모델(SOPL)은 TOPL의 성능을 따라잡지 못했으며, 이는 미세한 토큰 수준의 신호가 매우 중요하다는 것을 확인시켜 줍니다.
- 레이어 선택: 중간 레이어에 LoRA를 적용했을 때 가장 좋은 결과를 얻었습니다. 최종 레이어를 업데이트하는 것은 성능 향상이 제한적이거나 오히려 성능을 저하시켰는데, 이는 사전 학습된 생성 동작을 방해하기 때문인 것으로 보입니다.
- 레이블 민감도: 이 방법은 대조적 감독(양질의 토큰과 나쁜 토큰의 공존)에 의존합니다. 양질/나쁜 토큰의 비율이 지배적인 요인은 아니었으나, 한 종류의 토큰만으로 학습할 경우 성능 저하가 발생했습니다.
기계 번역: TOPL은 기계 번역 작업(MLQE-PE 및 FLORES-Plus)에도 성공적으로 전이되어 SOTA(State-of-the-art) 수준의 OOD 성능을 달성하였으며, 이는 이점들이 충실한 생성 작업 전반에 걸쳐 일반화될 수 있음을 시사합니다.
표현 분석:
- 분리 가능성(Separability): TOPL로 학습된 모델은 SFT와 비교했을 때 LoRA-A 서브스페이스에서 사실적 토큰과 비사실적 토큰 사이의 유의미하게 높은 분리도(AUROC)를 보였습니다.
- 스티어링: LoRA-B 벡터를 사용한 사후 개입(post-hoc intervention) 결과, TOPL 모델은 스티어링 강도에 일관되게 반응하는 반면, SFT 모델은 약한 민감도를 보였습니다.
- 상관관계: 더 높은 LoRA-A 분리도는 더 나은 OOD 일반화 점수와 강한 상관관계를 보였습니다.

의의 및 주장
본 논문은 TOPL이 학습 목표를 "다음 토큰은 무엇인가"에서 "이 토큰은 옳은가"로 전환함으로써 분포 변화 하에서의 모델 사실성을 향상시키는 강력한 솔루션을 제공한다고 주장합니다. 저자들은 이 접근 방식이 오프-폴리시 토큰을 직접 생성하도록 학습하는 것의 함정을 피한다고 주장합니다. 대신, 모델이 정확성을 구별하도록 학습함으로써, 이 방법은 자연스럽게 생성 과정을 충실한 출력으로 유도합니다.

본 연구의 의의는 다음과 같은 점을 입증했다는 데 있습니다:

토큰 수준의 감독은 충실한 생성에서의 OOD 일반화를 위해 시퀀스 수준의 감독보다 우월합니다.
특정한 목적 함수가 중요합니다: 단순히 토큰 수준의 레이블을 갖는 것만으로는 부족하며, TOPL에서 사용된 이진 분류 목적 함수가 (분리 가능한 LoRA-A와 스티어링 가능한 LoRA-B라는) 특정한 내부 표현 구조를 생성하여 견고성을 높입니다.
해석 가능성: 이 방법은 학습된 LoFA 업데이트를 조건부 스티어링 메커니즘으로 연결하여 분석하고 잠재적으로 제어할 수 있게 함으로써, 그 성공에 대한 명확한 메커니즘적 설명을 제공합니다.

저자들은 인과관계에 대해서는 겸허한 태도를 유지하며, LoRA-A의 분리도와 OOD 성능 사이에 강한 상관관계를 관찰했으나, 표현 구조와 일반화 사이의 엄격한 인과 관계는 향후 연구 과제로 남겨두었습니다.