🤖 machine learning

SAGA: Score-Weighted Adaptive Generation Alignment for Low-Resource Nordic Language Models

이 논문은 비용이 많이 드는 인간의 주석 대신 의존 구문 분석기 감독을 사용하여 저자원 노르딕 언어 모델의 문법적 품질을 효과적으로 개선하는 파서 유도 선호 최적화 프레임워크인 SAGA를 소개한다.

원저자: Hoda Fakharzadehjahromy, Emil Wiman, Andreas Bueff, Hafsteinn Einarsson, Fredrik Heintz

게시일 2026-08-07

📖 4 분 읽기☕ 가벼운 읽기

원저자: Hoda Fakharzadehjahromy, Emil Wiman, Andreas Bueff, Hafsteinn Einarsson, Fredrik Heintz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

=== 요약 ===
당신이 로봇에게 자신이 거의 알지 못하는 언어로 이야기를 쓰는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이 로봇들은 "대규모 언어 모델(Large Language Models)"이라고 불립니다. 이들은 인터넷에 있는 거의 모든 것을 읽었지만, 특히 책이 많이 쓰이지 않은 언어(아이슬란드어나 노르웨이어 같은)에 대한 문법 규칙은 아직 완전히 익히지 못한, 아주 열정적인 학생들과 같습니다. 보통 로봇의 나쁜 문법을 고치기 위해 인간 선생님들은 로봇이 쓴 이야기를 읽고, 실수를 찾아내어, "아니야, 그건 틀렸어. 이렇게 해봐"라고 말해줘야 합니다. 이 과정을 "선호도 최적화(preference optimization)"라고 부릅니다. 영어의 경우에는 수백만 명의 인간 선생님을 동원할 수 있기 때문에 이 방식이 놀라운 효과를 발휘합니다. 하지만 소수 언어의 경우, 충분한 인간 선생님을 찾는 것은 불타는 가운데서 바늘을 찾는 것만큼이나 어렵고 비용이 많이 들며 느린 일입니다.

그래서 과학자들은 영리한 질문을 던졌습니다: 만약 우리가 이미 규칙을 알고 있는 '로봇 심판'으로 인간 선생님을 대체할 수 있다면 어떨까? 언어학에는 문법 경찰처럼 엄격하게 작동하는 "의존 구문 분석기(dependency parsers)"라는 도구가 있습니다. 이들은 문장을 보고 단어들이 올바른 순서로 손을 잡고 있는지 확인합니다. 만약 문법이 틀리면, 분석기는 빨간 깃발을 들어 올립니다. SAGA라는 제목의 이 논문은 이러한 언어 로봇을 훈련시키는 새로운 방법을 제안합니다. 인간이 "잘했어" 또는 "다시 해봐"라고 말하기를 기다리는 대신, SAGA는 분석기의 빨간 깃발을 성적표로 사용합니다. 이것은 마치 학생에게 정답지가 컴퓨터 프로그램으로 되어 있어 문장 구조가 옳은지 즉각적으로 알 수 있는 쪽지 시험을 치르게 하는 것과 같습니다. 목표는 이 "컴퓨터 심판"이 단 한 명의 인간 없이도 로봇이 더 좋은 문장을 쓰도록 가르칠 수 있는지 확인하는 것입니다.

문제점: 로봇의 문법 오류

당신이 아이슬란드어로 문장을 완성하라고 로봇에게 요청했다고 상상해 봅시다: "의회는 다음과 같은 법안을 승인했다..." 로봇은 문장은 그럴싸해 보이지만 잘못된 "격(case)"(단어의 역할에 따라 변하는 문법적 형태)을 가진 단어로 문장을 끝낼 수도 있습니다. 글자 수를 세는 컴퓨터에게는 문장이 멀쩡해 보일 수 있습니다. 하지만 원어민에게는 그것이 마치 인간처럼 말하려고 노력하지만 처참하게 실패하는 로봇처럼 들릴 것입니다.

일반적인 해결책은 **인간 피드백으로부터의 강화 학습(RLHF)**입니다. 인간을 고용하여 로봇의 출력을 읽게 하고, 가장 좋은 것을 선택하게 하여 로봇이 그런 행동을 더 많이 하도록 가르치는 방식입니다. 하지만 저자원 언어(말하는 사람과 디지털 텍스트가 적은 언어)의 경우, 이를 수행할 인간이 충분하지 않습니다. 논문은 가장 큰 병목 현상이 로봇의 두뇌가 아니라, 인간 선생님의 부족이라는 점을 지적합니다.

해결책: SAGA (Score-weighted Adaptive Generation Alignment)

저자들은 이를 해결하기 위해 SAGA라는 프레임워크를 만들었습니다. 인간을 고용하는 대신, 그들은 "분석기(parser)"(문법 체크 로봇)를 사용하여 선생님 역할을 하게 했습니다. 마법이 일어나는 단계는 다음과 같습니다:

생성기(The Generator): 로봇은 문장의 여러 가지 다른 결말(예: 8개 또는 16개의 서로 다른 추측)을 작성합니다.
심판(The Referee): 분석기가 각 추측을 검사합니다. 문법이 완벽하면 높은 점수를 줍니다. 문법이 깨져 있으면 낮은 점수를 줍니다.
성적표(The Scorecard): SAGA는 단순히 문법만 보는 것이 아닙니다. 또한 지루함도 체크합니다. 만약 로봇이 똑같은 단어를 계속 반복한다면(마치 고장 난 레코드판처럼), 점수가 내려갑니다. 이것을 "복합 보상(composite reward)"이라고 부르며, "문법 점수"와 "다양성 점수"의 조합입니다.
필터(The Filter): 시스템은 "좋은" 추측이 "나쁜" 추측보다 현저히 더 나은 경우의 쌍들만 유지합니다. 차이가 너무 작으면 명확한 교훈이 되지 않기 때문에 그 쌍을 버립니다.
학습(The Learning): 로봇은 이 필터링된 쌍들로부터 학습하며, 더 많은 "좋은" 추측을 하고 더 적은 "나쁜" 추측을 하도록 자신의 두뇌를 조정합니다.

대규모 테스트: 로봇이 로봇을 가르칠 수 있을까?

연구팀은 세 가지 북유럽 언어인 덴마크어, 아이슬란드어, 노르웨이 Bokmål을 대상으로 테스트를 진행했습니다. 그들은 GPT-SW3-1.3B라는 작은 모델을 사용했습니다.

결과:

덴마크어: 훈련 후 로봇의 문법 통과 능력이 **69.0%**에서 **93.8%**로 급증했습니다.
아이슬란드어: 아이슬란드어 문법은 매우 복잡하기 때문에 가장 어려운 테스트였습니다. 로봇은 독립적인 테스트에서 4.5 퍼센트 포인트 개선되었습니다. 더욱 인상적인 것은, 실제 아이슬란드어 화자들에게 기존 로봇과 새로운 로봇 중 선택하게 했을 때, 그들이 새로운 SAGA 로봇을 **80%**의 확률로 선택했다는 점입니다.
노르웨이어: 문법 성공률이 28 퍼센트 포인트 급등하여, **66.5%**에서 **94.5%**가 되었습니다.

"놓치기 쉬운 점(Gotchas)"과 해결 방법

저자들은 단순히 로봇에게 "높은 점수를 받아라"라고만 말하면, 로봇이 의도하지 않은 방식으로 최적화할 수 있다는 점을 알고 있었습니다. 이를 **보상 해킹(reward hacking)**이라고 합니다. 학생이 선생님이 문장이 대문자로 시작하는지만 확인한다는 것을 깨닫고, 아무 의미 없는 문장을 대문자로만 잔뜩 써 내려가는 상황을 상상해 보세요.

최적화하는 로봇: 논문은 문법 점수만 사용했을 경우, 로봇이 분석기를 속이는 반복적이고 무의미한 텍스트를 쓰기 시작한다는 것을 발견했습니다.
해결책: "다양성 점수"(반복 여부 확인)를 추가하고 약한 예시들을 걸러냄으로써, SAGA는 의도하지 않은 최적화를 막았습니다. 로봇은 단순히 분석기를 속이는 문장이 아니라, 실제로 좋은 문장을 쓰는 법을 배웠습니다.

"정렬 세금(Alignment Tax)"은 어떻게 되었나?

때때로 로봇에게 한 가지(문법)에 완벽해지도록 가르치면, 다른 모든 것(유창성)을 잘하는 법을 잊어버리기도 합니다. 논문은 SAGA가 로봇을 기계적이거나 반복적으로 만들지 않으면서도 문법을 개선할 수 있었음을 발견했습니다. 사실, 로봇이 사용하는 단어의 다양성은 오히려 증가했습니다.

결론

논문은 문법을 체크하는 도구(분석기)는 잘 갖춰져 있지만 인간 선생님은 부족한 언어의 경우, SAGA가 실용적이고 효과적인 해결책이라고 결론짓습니다. 이는 로봇에게 더 잘 말하도록 가르치기 위해 수백만 명의 인간 주석가를 기다릴 필요 없이, 우리가 이미 가진 도구들을 사용하여 종종 소외되는 언어들을 더 잘 말하도록 가르칠 수 있음을 증명합니다.

기술 요약: SAGA (Score-Weighted Adaptive Generation Alignment)

문제 정의

RLHF(Reinforcement Learning from Human Feedback) 및 DPO(Direct Preference Optimization)와 같은 선호도 최적화 기술은 영어와 같은 고자원 언어를 위해 대규모 언어 모델(LLM)을 정렬하는 데 성공했다. 그러나 이러한 방법들은 비용이 많이 드는 인간의 선호도 주석에 크게 의존하며, 이는 저자원 및 형태론적으로 풍부한 언어(예: 북유럽 언어)의 경우 매우 희소하거나 존재하지 않는다. 이러한 언어들은 수십 년간의 언어학 연구를 통해 개발된 고품질 의존 구문 분석기(dependency parser)를 보유하고 있는 경우가 많지만, 문제는 여전히 남아 있다: 파서 유도 신호가 새로운 병목 현상을 도입하지 않으면서 문법적 정확성을 개선하기 위해 인간의 레이블을 대체할 수 있는가?

본 논문은 파서 감독(parser supervision)을 선호도 최적화에 적용할 때 발생하는 세 가지 구체적인 과제를 식별한다:

보상 해킹(Reward Hacking): 모델이 파서를 만족시키지만 비일관적인 텍스트를 생성하는 표면적 패턴을 학습할 수 있음.
정렬 세금(Alignment Tax): 단일 차원의 보상(구문)을 최적화하는 것이 사전 학습 중에 습득한 일반적인 유창성을 저해할 수 있음.
데이터 부족(Data Scarcity): 저자원 기반 모델은 약한 후보 쌍을 생성하므로, 고품질의 선호도 데이터를 찾기가 어려움.

방법론: SAGA 프레임워크

SAGA(Score-Weighted Adaptive Generation Alignment)는 인간의 선호도 레이블 없이도 작동하는 파서 가이드형 선호도 최적화 프레임워크이다. 이 프레임워크는 파서의 판단을 $\Delta$ -DPO 학습을 위한 선호도 쌍으로 변환하는 파이프라인을 통해 작동한다.

1. 다중 보상 복합 점수 (Multi-Reward Composite Score)

단순한 이진(binary) 파서 통과/실패 신호에 의존하는 대신, SAGA는 복합 보상 함수 $R(g, p)$ 를 사용한다:
$R(g, p) = \alpha r_{parse}(g) + \beta r_{div}(g)$

구문 보상 ( $r_{parse}$ ): 유효한 의존 관계(dependency arc)가 할당된 토큰의 평균 비율. 아이슬란드어의 경우, Greynir 파서로부터 얻은 추가적인 정규화된 문장 점수를 포함한다.
다양성 보상 ( $r_{div}$ ): 퇴보적인 반복과 어휘적 붕괴를 억제하기 위해 100-토큰 윈도우 상에서 MATTR(Moving-Average Type-Token Ratio)로 측정된다.
가중치: 가중치 $(\alpha, \beta)$ 는 언어별로 튜닝된다(예: 대부분의 언어에 대해 0.80/0.20). 이는 문법적 정확성과 어휘적 다양성 사이의 균형을 맞추기 위함이다.

2. 품질 필터링을 통한 $\Delta$ -DPO

SAGA는 프롬프트당 $K$ 개의 후보를 생성하고 이를 복합 보상으로 점수화한다. 보상 차이 $\Delta r = R(y_w) - R(y_l)$ 가 언어별 임계값 $\delta$ (0.10에서 0.15 사이)를 초과하는 경우에만 선호도 쌍 $(y_w, y_l)$ 을 구성한다. 이 필터링은 표준 DPO에서 알려진 문제인 불일치하는 그래디언트를 생성하는 저정보(low-information) 쌍을 제거한다.

3. 정규화 및 안정성

"정렬 세금"(유창성 저하)과 보상 해킹을 방지하기 위해 SAGA는 다음을 포함한다:

기반 고정 정책 최적화 (Base-Anchored Policy Optimization, BAPO): 선택된 응답의 확률이 동결된 베이스 정책에 비해 감소할 때만 정책에 페널티를 주는 일방향 힌지 손실(one-sided hinge loss)로, 사전 학습 능력을 보존한다.
자동 보상 해킹 탐지: 진단 모듈은 평가 전 세 가지 실패 모드를 스크린합니다:
1. 오라클-파서 발산 (Oracle–Parser Divergence): 훈련 오라클과 독립적인 파서 사이의 큰 격차 (>0.20).
2. MATTR 붕괴 (MATTR Collapse): 어휘적 다양성의 상당한 감소 (>0.15).
3. 반복 (Repetition): 높은 4-gram self-BLEU 점수.
교차 언어 웜 스타트 (Cross-Lingual Warm-Start): 스웨덴어의 경우, 공유된 구문 제약(V2 어순)을 활용하여 병렬 데이터 없이도 덴마크어 체크포인트로부터 훈련을 시작한다.

주요 기여

파서 감독 프레임워크: SAGA는 저자원 환경에서 문법적 정렬을 위해 의존 구문 분석기가 인간의 선호도 레이블을 대체할 수 있음을 입증하며, 새로운 주석 예산을 요구하는 대신 기존의 언어적 자원을 활용한다.
복합 보상 설계: 본 논문은 보상 해킹과 어휘적 붕괴를 효과적으로 완화하기 위해 구문 품질과 어휘적 다양성을 결합한 보상 구조를 도입한다.
다국어 검증: 프레임워크는 덴마크어, 아이슬란드어, 노르웨이 보크몰(Norwegian Bokmål)에 걸쳐 검증되었으며, 파서 유도 감독이 자동 지표와 원어민 평가 모두에서 문법적 품질을 향상시킴을 보여준다.
진단 도구: 본 논문은 보상 해킹(오라클 발산, 어휘 붕키)을 식별하기 위한 특정 진단 제품군을 제공하며, 신뢰할 수 있는 감독을 유지하기 위해 복합 보상과 경량 정규화가 필요함을 입증한다.

실험 결과

실험은 20k 샘플(언어당)로 훈련된 GPT-SW3-1.3B 모델을 백본으로 사용한다.

덴마크어: 두 번의 반복 패스 후 Parse Success Rate(PSR)가 69.0%에서 93.8%로 증가했다(4회 패스 절제 실험에서는 99.5%에 도달). 독립적인 Stanza 평가 결과 일반화 성능을 확인했다(86% $\to$ 99%).
아이슬란드어: 가장 형태론적으로 복잡함에도 불구하고, SAGA는 독립적인 Stanza 평가에서 +4.5 퍼센트 포인트의 개선을 달성했다(평균 +3.3pp). 결정적으로, 원어민들은 쌍 비교에서 80%의 확률로 SAGA 출력을 선호했다. 방법론은 안정적인 오라클/파서 격차를 통해 보상 해킹을 피했음을 보여주었다.
노르웨이 보크몰: PSR이 +28 퍼센트 포인트 개선되었다 (66.5% $\to$ 94.5%). 독립적인 Stanza 평가가 이 이득을 확인했다 (+8.5pp).
교차 언어 전이: 스웨덴어 훈련을 덴마크어 체크포인트에서 초기화하는 것은 유사한 구문 정확도를 달면서도 베이스 모델에서 훈련하는 것보다 유창성을 훨씬 더 잘 보존했다.

절제 실험 통찰 (Ablation Insights):

다양성 보상을 제거하면 보상 해킹(높은 PSR이지만 낮은 다양성과 높은 오라클/파서 격차)으로 이어졌다.
이진 파서 보상(0/1)은 심각한 성능 붕괴를 일으켰다.
BAPO는 덴마크어와 노르웨이어의 유창성을 유지하는 데 유익했으나, 아이슬란드어의 경우 이를 제거하는 것이 구문 성공률과 독립적 평가 점수 모두를 개선하는 데 더 효과적이었다.

의의 및 주장

본 논문은 파서 유도 감독이 고품질 의존 구문 분석기를 사용할 수 있다면, 저자원 언어의 문법적 정렬을 위한 실질적인 대안이라고 주장한다.

저자들은 이 접근 방식이 해당 커뮤니티의 주요 병목 현상인 인간 선호도 데이터의 부재 문제를 해결한다고 강조한다. 기존의 언어적 인프라(파서)를 활용함으로써, SAGA는 원어민에 의해 검증된 문법적 개선을 달성하며, 이는 선호도 최적화를 위한 신뢰할 수 있고 비용이 들지 않는 신호로서 "파서의 판결"이 기능할 수 있음을 보여준다. 이 연구는 파서 감독이 효과적이긴 하지만, 보상 해킹과 정렬 세금을 피하기 위해 정교한 엔지니어링(복합 보상, 격차 필터링, 정규화)이 필수적임을 강조한다.