기술 요약: 사용자의 암묵적 피드백을 이용한 LLM 정렬 (LLM Alignment)

문제 정의

대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 현재의 방법들은 명시적 피드백(예: 엄지 손가락 위/아래 평점)에 크게 의존하고 있습니다. 이러한 방식은 두 가지 결정적인 한계에 직면해 있습니다:

1. 희소성 및 비용: 사용자의 1~3%만이 명시적 피드백을 제공하며, 이로 인해 고품질의 선호도 주석(annotation) 작업은 비용이 많이 들고 규모를 키우기 어렵습니다.
2. 암묵적 신호의 저활용: 암묵적 피드백(예: 클릭률)이 검색 엔진과 추천 시스템에서는 매우 중요하게 활용되어 왔으나, LLM 분야에서는 여전히 미개척 영역으로 남아 있습니다. 기존 시스템들은 다른 도메인에서 발견되는 '클릭' 신호가 부족한 경우가 많으며, 사용자 상호작용(예: 읽기 행동)을 어떻게 신뢰할 수 있는 학습 신호로 해석할 것인지가 불분명합니다.

본 논문은 사용자의 자연스러운 상호작용, 구체적으로 마우스 움직임과 시선 추적 패턴이 현재 무시되고 있는 풍부하고 확장 가능한 선호도 신호를 포함하고 있다고 주장합니다.

방법론

1. 데이터 수집: IFLLM 데이터셋

저자들은 현실적인 다회차 대화 환경에서 마우스 및 시선 궤적과 명시적 선호도를 함께 캡처한 최초의 데이터셋인 IFLLM(Implicit Feedback for Large Language Models)을 구축했습니다.

• 참가자: 59명의 고유한 Amazon Mechanical Turk (MTk) 작업자.
• 작업: 사용자는 1,336개의 주제(Wikipedia에서 추출)에 대해 다회차 질의응답 세션에 참여했습니다. 사용자는 네 가지 LLM(DeepSeek V3, GPT-4o Mini, Claude Sonnet 4.5, Llama 3.3 70B)과 상호작용했습니다.
• 설정:
  • Pairwise (쌍별 비교): 두 개의 응답을 나란히 놓고 비교.
  • Pointwise (단일 평가): 단일 응답에 대해 5점 리커트 척도로 점수 부여.
• 도구: WebGazer.js를 사용하여 표준 웹캠을 통해 시선을 추적(특수 실험 장비 없이 구현)하고, 10Hz(0.1초마다)로 마우스 좌표를 기록하는 커스텀 웹 기반 크라우드소싱 플랫폼을 사용했습니다.
• 보정(Calibration): 데이터 수집 전, 시선 추적 정확도(70% 임계값)를 보장하기 위해 사용자는 보정 과정을 거쳤습니다.

2. 사용자 행동 분석

저자들은 수집된 궤적을 분석하여 읽기 패턴을 이해했습니다:

• 응답 길이 의존성: 짧은 응답의 경우 마우스와 시선 궤적 간의 상관관계가 약합니다. 중간 및 긴 응답의 경우, 사용자가 스크롤을 해야 하므로 마우스 움직임이 읽기 진행 상황을 추적하게 되어 두 궤적 간의 상관관계가 강해집니다.
• 주의 집중 분포: 사용자는 응답의 초반부에 더 집중하는 경향이 있으나, 레이아웃(예: 쌍별 비교 설정에서의 좌측 또는 우측 열)에 따라 주의가 이동합니다.
• 개별 가변성: 읽기 행동은 선형적 읽기부터 광범위한 앞뒤 검토에 이르기까지 매우 다양합니다.

3. 보상 모델(Reward Model) 학습

저자들은 암묵적 피드백에서 추출한 특징(feature)을 사용하여 사용자 선호도를 예측하는 랜덤 포레스트(Random Forest, RF) 보상 모델을 학습시켰습니다.

• 특징 추출: 특징에는 텍스트 속성(쿼리/응답 길이)과 궤적 지표(읽기 시간, 최대 확인된 문자 인덱스, 검토 시간, 시선 대비 마우스 움직임 비율)가 포함되었습니다.
• 특징 선택: 모델은 암묵적 피드백 특징(특히 마우스 움직임)이 텍스트 기반 특징이나 생성된 LLM의 정체성보다 더 예측력이 높다는 것을 식별했습니다.
• 비교: 암묵적 피드백 모델은 표준 텍스트 전용 모델(ModernBERT) 및 제로샷 LLM 판독기(judge)와 비교되었습니다.

4. LLM 정렬 (DPO)

학습된 보상 모델은 직접 선호 최적화(DPO) 및 rDPO(음의 로그 가능도(NLL)를 사용하는 정규화된 DPO)를 사용하여 8가지의 서로 다른 베이스 LLM(1B에서 4B 파라미터 범위)을 정렬하는 데 사용되었습니다.

• 프로세스: 모델은 먼저 응답에 대해 지도 미세 조정(SFT)을 거친 후, 보상 모델이 예측한 선호도를 사용하여 최적화되었습니다.
• 평가: 정렬된 LLM의 품질은 GPT-4.1-mini에 의해 평가되었으며, 작업자들이 사실 관계를 검증하는 소규모 인간 실험을 통해 검증되었습니다.

주요 결과

1. 선호도 예측 정확도

• 베이스라인: 표준 텍스트 기반 보상 모델(ModernBERT)은 약 **55%**의 정확도를 달 기록했습니다.
• 암묵적 피드백: 랜덤 포레스트 모델을 통해 암묵적 피드백(마우스 및 시선)을 통합함으로써 정확도가 **64%**로 향상되었습니다.
• 신호 중요도: 마우스 데이터를 제거하면 성능이 크게 하락한 반면, 시선 데이터를 제거했을 때의 하락 폭은 작았습니다. 이는 특히 스크롤이 필요한 긴 응답에서 마우스 움직임이 더 강력한 신호임을 시사합니다.

2. LLM 정렬 개선 사항

• 응답 품질: 암묵적 피드백 보상 모델을 적용한 DPO는 SFT만 수행했을 때보다 응답 품질을 유의미하게 개선했습니다.
• 승률(Win Rates): "DPO vs SFT" 승률이 텍스트 전용 보상을 사용할 때의 0.12에서 암묵적 피드백 보상을 사용할 때 0.35로 증가했습니다.
• 효율성: 암묵적 피드백 방식은 훨씬 더 짧은 평균 길이(SFT의 228.6 토큰 대비 202.5 토큰)로 더 높은 품질의 응답을 생성했으며, 이는 더 나은 간결성과 관련성을 시사합니다.
• 모델 불가지론(Model Agnosticism): 최근의 Qwen 시리즈를 포함한 다양한 베이스 모델 전반에서 개선 효과가 일관되게 나타났습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. IFLLM 데이터셋: 웹캠 기반의 시선 추적 및 마우스 궤적을 다회차 대화 맥락에서의 명시적 선호도와 결합한 최초의 데이터셋을 구축하고 공개했습니다. 저자들은 향후 연구를 촉진하기 위해 데이터 수집 웹사이트의 소스 코드도 함께 공개했습니다.
2. 체계적 분석: 다양한 읽기 행동(시선 및 마우스)에 대한 심층적인 분석과 보상 모델 학습을 위한 효과성에 대한 비교 평가를 최초로 수행했습니다. 이 연구는 마우스 궤적이 긴 형태의 콘텐츠에 있어 이전에 활용되지 않았던 중요한 신호임을 밝혀냈습니다.
3. 확장 가능한 정렬: 암묵적 피드백이 보상 모델의 정확도를 실질적으로 높이고, 결과적으로 정렬된 LLM의 품질을 향상시킬 수 있음을 입증했습니다. 저자들은 이것이 **확장 가능한 개인화 정렬(scalable personalized alignment)**의 토대를 마련하며, 비싼 명시적 라벨링 없이도 일반적인 사용자 상호작용이 지속적으로 시스템 성능을 개선하는 "자기 강화적 데이터 플라이휠(self-reinforcing data flywheel)"을 생성할 수 있다고 주장합니다.

저자들은 한계점에 대해 겸허한 태도를 유지하며, 보상 모델이 데이터를 수집하기 위해 사용자가 응답을 반드시 시청해야 한다는 점(이는 RLHF의 전제 조건이기도 함)과 본 연구에서는 다회차 맥락을 단일 턴 세션으로 단순화했다는 점을 언급했습니다. 또한, 데이터 플라이휠이 지배적이 될 경우 발생할 수 있는 프라이버시 문제와 LLM 선택의 다양성 감소에 대한 윤리적 고려 사항도 인정했습니다.