기술 요약: DUET – 미시 평가 작업으로부터의 노이즈 피드백을 통한 LLM 학습 데이터 혼합 최적화

1. 문제 정의

대형 언어 모델 (LLM) 의 성능은 학습 데이터 도메인과 하위 평가 작업 간의 정렬에 크게 의존합니다. 그러나 많은 실제 배포 시나리오에서 평가 작업의 구체적인 데이터 분포, 도메인, 또는 레이블은 알려져 있지 않습니다. 이를 미시 평가 작업 (unseen evaluation task) 설정이라고 합니다.

일반적인 예시는 다음과 같습니다:

• 종단간 암호화된 대화: LLM 소유자는 개인정보 보호 제약 (예: 기업 개인정보 보호 정책) 으로 인해 실제 사용자 - 챗봇 대화 데이터에 접근할 수 없지만, 사용자 평점이나 세션 지속 시간과 같은 거시적인 피드백은 관찰할 수 있습니다.
• 모델 마켓플레이스: 모델 소유자가 모델을 소비자에게 판매하고, 소비자가 민감한 평가 데이터를 공유하지 않은 채 성능에 대한 피드백을 제공합니다.

이러한 설정에서 소유자는 그레디언트, 레이블, 또는 분포와 같은 세밀한 데이터 정보 대신 거시적이고 노이즈가 있는 피드백(예: 평점, 작업 완료 시간) 만 받습니다. 기존 데이터 혼합 방법 (예: DoReMi, BiMix) 과 데이터 선택 기법 (예: LESS, coresets) 은 일반적으로 세밀한 평가 데이터에 대한 접근이 필요하거나 학습 분포가 작업 분포와 일치한다고 가정합니다. 결과적으로 평가 데이터에 접근할 수 없는 설정에 직접 적용될 경우 실패하거나 비최적의 성능을 보입니다. 핵심 과제는 다음과 같습니다: 미시 작업으로부터의 여러 번의 노이즈 피드백만을 사용하여 LLM 학습 데이터 혼합을 어떻게 효율적으로 최적화할 수 있는가?

2. 방법론: DUET

본 논문은 DUET(미시 평가 작업으로부터의 노이즈 피드백을 통한 LLM 학습 데이터 혼합 최적화) 을 제안합니다. 이는 데이터 선택과 베이지안 최적화 (BO) 를 교차시키는 새로운 전역에서 국소 (global-to-local) 알고리즘입니다.

2.1 문제 재매개변수화

저자들은 최적화 문제를 재매개변수화합니다. 최적의 데이터 포인트 집합 $X^*$를 직접 탐색하는 대신, $n$개의 학습 데이터 도메인 간의 최적 혼합 비율 $r \in \mathbb{R}^n$을 탐색합니다. 이 문제는 이레벨 최적화 (bilevel optimization) 로 공식화됩니다:

• 외부 레벨 (전역): 미시 평가 작업 손실을 최소화하는 최적의 혼합 비율 $r$을 찾습니다.
• 내부 레벨 (국소): 주어진 비율 $r$에 대해, 손실을 최소화하는 고품질 데이터 부분집합 $X \in S_r$을 찾습니다 (여기서 $S_r$은 비율 $r$을 만족하는 데이터 혼합 집합입니다).

2.2 내부 루프: 데이터 선택

내부 문제를 해결하기 위해 DUET 는 제안된 비율 $r$에 따라 각 도메인에서 고품질 데이터 포인트를 검색하기 위한 데이터 선택 전략을 사용합니다.

• 영향 함수 (IF): 논문은 주로 선택 메커니즘으로 영향 함수 (Influence Functions) 를 활용합니다. 각 도메인별로 별도의 LLM 을 파인튜닝하고, 검증 집합에 대한 모든 데이터 포인트의 IF 점수를 계산합니다.
• IF 가중 샘플링: 균일 무작위 샘플링 대신, 데이터 포인트가 선�될 확률이 해당 IF 점수에 비례하도록 가중 샘플링을 수행합니다. 이는 모델 손실 감소에 더 "영향력 있는" 데이터 포인트로 선택을 편향시킵니다.
• 추정기: 내부 문제의 해는 선택된 혼합으로 LLM 을 학습시키고 미시 작업에서 평가함으로써 추정됩니다. 저자들은 이론적으로 이 추정기의 분포를 특성화하여, IF 기반 샘플링이 균일 무작위 샘플링에 비해 분산과 편향을 줄인다는 것을 보여줍니다.

2.3 외부 루프: 베이지안 최적화

외부 루프는 베이지안 최적화를 사용하여 혼합 비율 $r$을 반복적으로 정제합니다.

• 블랙박스 목적 함수: 함수 $f(r)$은 주어진 비율 $r$에 대한 미시 작업 손실을 나타냅니다. 이 손실은 노이즈가 있는 내부 루프 추정기를 통해 얻어지므로, $f(r)$은 노이즈 관측치를 가진 블랙박스 함수로 취급됩니다.
• 가우시안 프로세스 (GP): DUET 는 $f(r)$을 GP 사전분포를 사용하여 모델링합니다.
• 획득 함수: 각 반복 $t$에서 DUET 는 탐색과 활용을 균형 있게 조절하는 하한 신뢰 구간 (LCB) 획득 함수를 최소화함으로써 새로운 혼합 비율 $r_t$를 제안합니다.
• 피드백 루프: 제안된 비율 $r_t$는 데이터를 샘플링하고, LLM 을 학습/파인튜닝하며, 미시 작업으로부터 노이즈 피드백을 관찰하는 데 사용됩니다. 이 관측치는 히스토리에 추가되어 GP 사후분포를 업데이트하며, 이 과정은 $T$번의 반복까지 반복됩니다.

2.4 알고리즘 흐름

1. 초기화: 학습 도메인의 모든 데이터 포인트에 대해 IF 점수를 사전 계산합니다. 무작위 데이터 혼합으로 BO 를 초기화합니다.
2. 반복:
   • BO 가 혼합 비율 $r_t$를 제안합니다.
   • IF 가중 샘플링을 수행하여 $r_t$를 만족하는 데이터 혼합 $X_t$를 생성합니다.
   • $X_t$에서 LLM 을 파인튜닝하고 미시 작업으로부터 노이즈 피드백 (평가 손실) 을 관찰합니다.
   • $(r_t, \text{피드백})$으로 GP 사후분포를 업데이트합니다.
3. 종료: $T$번의 반복 후, 관찰된 가장 성능이 좋은 데이터 혼합을 반환합니다.

3. 주요 기여

1. 새로운 문제 설정: 평가 데이터는 알려지지 않았으나 (미시 작업), 거시적이고 노이즈가 있는 피드백은 이용 가능한 현실적인 설정을 정의하여 표준 도메인 적응 또는 일반화 작업과 구별합니다.
2. DUET 알고리즘: 세밀한 작업 데이터 없이 데이터 혼합을 최적화하기 위해 데이터 선택 (특히 IF 기반 샘플링) 과 베이지안 최적화를 교차시키는 전역에서 국소 프레임워크를 도입했습니다.
3. 이론적 보장: 저자들은 **누적 후회 (cumulative regret)**를 제한함으로써 DUET 의 수렴에 대한 이론적 분석을 제공합니다. BO 반복 횟수가 증가한다면, 노이즈 피드백이 있더라도 DUET 가 최적 학습 데이터 혼합으로 수렴함을 보여줍니다.
4. 실증적 검증: 광범위한 실험을 통해 DUET 가 도메인 내 및 도메인 외 미시 작업 설정 모두에서 기존 데이터 혼합 (DoReMi, Aioli) 및 선택 (LESS) 베이스라인보다 우수한 성능을 발휘함을 입증했습니다.

4. 실험 결과

실험은 PEFT(LoRA) 를 통해 파인튜닝된 Llama-3-8b-Instruct와 Qwen2.5-7B-Instruct를 사용하여 수행되었습니다.

• 데이터셋: 9 개의 학습 도메인 (예: Wikitext, GSM8K, PubMedQA, TruthfulQA) 과 다양한 미시 평가 작업 (일부는 도메인 내, 일부는 도메인 외).
• 베이스라인: DoReMi, LESS, Aioli, Multi-fidelity BO, 그리고 단순한 접근법 (균일 혼합, 무작위 탐색) 과 비교했습니다.
• 성능:
  • DUET 는 모든 평가 작업에서 베이스라인에 비해 일관되게 더 높은 성능 점수를 달성했습니다.
  • 도메인 내 작업 (예: TruthfulQA) 에서 DUET 는 관련 학습 도메인을 성공적으로 식별하고 가중치를 크게 부여했습니다.
  • 도메인 외 작업 (예: GSM8K 학습 데이터 없이 GSM8K) 에서 DUET 는 피드백을 활용하여 관련 프록시 도메인 (예: Wikitext, SciQ) 을 효과적으로 찾아내어 피드백에 적응하지 못한 방법들보다 우수한 성과를 거두었습니다.
• 어블레이션 연구:
  • 데이터 선택: IF 기반 샘플링을 사용한 DUET(DUET-IF) 는 균일 무작위 샘플링을 사용한 DUET(DUET-UR) 와 LESS 및 로그 - 행렬식과 같은 다른 선택 방법들보다 우수한 성능을 보였습니다.
  • 샘플 크기 ($k$): 내부 루프의 샘플 수 $k$를 늘리면 성능이 향상되었으나, $k=1$만으로도 베이스라인을 능가하기에 충분했습니다.
  • 구성 요소: BO 구성 요소와 데이터 선택 구성 요소 모두 최적 성능을 위해 필요함이 입증되었습니다.

5. 중요성과 주장

본 논문은 DUET 가 미시 평가 작업으로부터의 피드백에 기반하여 학습 데이터 혼합을 반복적으로 최적화하기 위해 데이터 선택과 베이지안 최적화를 교차시킨 최초의 연구라고 주장합니다.

• 실용적 관련성: 개인정보 보호 또는 데이터 소유권으로 인해 평가 데이터에 접근할 수 없으나 반복적 개선이 필요한 LLM 배포의 중요한 격차를 해결합니다.
• 효율성: BO 를 사용하여 데이터 혼합의 브루트포스 열거에 비해 학습/파인튜닝 횟수가 적은 샘플 효율적인 방법입니다.
• 유연성: 이 프레임워크는 계산 예산에 따라 다양한 데이터 선택 방법 (IF, LESS, coresets) 을 수용할 수 있도록 유연하게 설계되었으나, 해당 설정에서 IF 가 가장 효과적임이 입증되었습니다.
• 이론적 타당성: 수렴 분석은 노이즈와 세밀한 데이터 부재에도 불구하고 알고리즘이 작동하는 이유에 대한 이론적 기반을 제공합니다.

저자들은 현재 초점이 파인튜닝에 맞춰져 있지만, 이 접근법은 이론적으로 사전 학습에도 적용 가능하다고 언급했으나, 본 작업에서 사전 학습 최적화를 해결했다고 주장하지는 않습니다. 또한 IF 점수 계산이 계산적으로 집약적일 수 있음을 인정하지만, 사전 계산과 대리 모델 (surrogate models) 을 실용적인 완화 방안으로 제안합니다.