HAL: Inducing Human-likeness in LLMs with Alignment

기술 요약: HAL: 정렬을 통한 LLM의 인간다움 유도

문제 정의
대규모 언어 모델(LLM)을 질적인 행동 특성, 구체적으로는 대화에서의 "인간다움(human-likeness)"에 정렬시키는 것은 여전히 중요한 과제로 남아 있습니다. 과업 지향적 지표와 달리, 인간다움은 체계적으로 정의, 측정 및 최적화하기 어렵습니다. 인지된 인간다움의 현재 개선은 목표가 설정된 정렬보다는 모델 규모 확대나 광범적인 지도 학습에 의해 주로 주도됩니다. 또한, 인간이 느끼는 인간다움은 일반적으로 총체적이고 암묵적이며, 강화 학습이나 선호도 최적화를 위한 보상 신호를 구축하는 데 필요한 명시적인 기준이 결여되어 있습니다. 결과적으로, 모델을 더 인간다운 대화 행동으로 정렬하기 위한 체계적인 방법이 존재하지 않습니다.

방법론
본 논문은 대화의 인간다움을 해석 가능한 스칼라 보상 신호로 정량화하는 데이터 기반 프레임워크인 **HAL (Human Aligning LLMs)**을 소개합니다. 방법론은 네 단계로 진행됩니다:

1. 대조 데이터로부터의 특성 추출:
   저자들은 인간-인간 대화와 인간-AI 대화가 쌍을 이루는 튜링 테스트 대화 스크립트(Jones와 Bergen, 2025 활용)를 대조 데이터로 사용합니다. 고도의 추론 능력을 갖춘 LLM 판별기(초기 모델은 GPT-5)가 이 쌍들을 분석하여, 인간과 AI를 구분 짓는 이유를 구조화된 리커트(Likert) 스타일의 이유로 생성합니다. 이러한 자연어 이유들은 임베딩 및 클러스터링 과정을 거쳐 반복되는 단서들을 식별합니다. 요약 과정을 통해, 이들은 이 문맥에서 인간과 AI의 대화를 신뢰성 있게 구분하는 압축된 **32가지 특성(HL32Q)**으로 정제됩니다.

2. 로지스틱 회귀를 통한 정량화:
   질적인 특성을 양적인 신호로 변환하기 위해 저자들은 로지스틱 회귀 모델을 훈련합니다. LLM 판별기(HL32Q Judge)는 주어진 대화를 32가지 특성에 대해 1~5점 척도의 리커트 점수로 독립적으로 채점하여 특징 벡터 $A \in \mathbb{R}^{32}$를 생성합니다. 로지스틱 회귀 모델은 가중치($W$)와 편향($b$)을 학습하여 해당 대화가 인간($y=1$)인지 AI($y=0$)인지를 예측합니다.
   해석 가능성을 높이기 위해, 저자들은 학습된 가중치의 절대 크기를 기준으로 상위 **16가지 특성(HL16Q)**을 선택하는 특징 감소(feature reduction)를 수행합니다. 이를 통해 단일 스칼라 **인간다움 점수(Human-Likeness Score)**가 도출됩니다:
   $$\text{HumanLikeness}(A) = \sum_{i=1}^{16} A_i W_i + b$$
   이 점수는 정렬을 위한 보상 신호로 사용됩니다.

3. 선호도 최적화 (DPO):
   프레임워크는 정렬을 선호도 학습 문제로 구성합니다. 합성된 페르소나(주로 의료 커뮤니케이션 도메인) 세트에 대해 다양한 모델이 후보 대화를 생성합니다. 이 대화들은 HL16Q 판별기에 의해 점수가 매겨집니다. HL16Q 점수가 더 높은 대화는 "선택됨(chosen)", 낮은 대화는 "거부됨(rejected)"으로 레이블링된 대화 쌍이 구성됩니다. 이 순위가 매겨진 쌍들은 다양한 크기(1B에서 72B 파라미터까지)의 모델을 **직접 선호도 최적화(DPO)**를 사용하여 미세 조정하는 데 사용됩니다.

4. 평가:
   저자들은 다음을 통해 접근법을 검증합니다:

• 분포 외(OOD) 테스트: 특성이 전이 가능한 인간다움의 단서를 포착하는지 확인하기 위해 별도의 암 커뮤니케이션 데이터셋에 대해 HL16Q 점수를 평가합니다.
• 인간 평가: 인간 참가자들이 두 모델 중 어떤 모델이 더 인간답게 느껴지는지 판단하는 Chatbot Arena 방식의 A/B 테스트를 실시합니다.
• 역량 벤치마크: 정렬이 다른 능력들을 저하시키지 않는지 확인하기 위해 정서 지능 벤치마크(EmoBench, EQBench3) 성능을 평가합니다.

주요 결과

• 특성 식별: 파이프라인은 인간과 AI의 대화를 효과적으로 구분하는 32가지 뚜렷한 특성을 성공적으로 식별하였으며, 이를 16가지(HL16Q)로 축소했습니다. 로지스틱 회귀 분류기는 32가지 전체 특성을 사용했을 때 튜링 테스트 데이터셋에서 77.47%의 정확도를, 축소된 16가지 특성을 사용했을 때 **77.12%**를 달성했습니다.
• 일반화 가능성: OOD 데이터셋(암 커뮤니케이션)에서 인간-인간 대화는 인간-AI 대화보다 유의미하게 높은 HL16Q 점수를 받았으며(평균 차이 $\Delta = 3.02, p < 10^{-17}$), AUC는 0.907을 기록하여 추출된 특성들이 전이 가능한 인간다움의 단서를 포착함을 입증했습니다.
• 정렬 성능: 인간 평가에서, HAL로 정렬된 Qwen2.5-14B 모델은 61.78%의 승률과 1556.97의 Elo 점수를 기록하며, 기본 모델(53.62%)과 독점 모델인 GPT-4o-mini(34.29%)를 모두 능가했습니다.
• 역량 보존: HAL과의 정렬은 정서 지능 벤치마크에서 체계적인 성능 저하를 일으키지 않았습니다. 특히 소규모 및 중간 규모 모델의 경우, 정렬 후 EQBench3 성능이 향상되는 사례가 여러 번 관찰되었습니다.
• 해석 가능성: 프레임워크를 통해 훈련 과정 중 특정 특성의 변화를 검사할 수 있습니다. 예를 들어, 저자들은 "답변을 짧고 격식 없이 유지한다"(Q1)라는 특성이 가장 유의미한 분포 변화를 보였음을 관찰했으며, 이는 모델이 불투명한 목적 함수를 최적화하는 것이 아니라 구체적이고 해석 가능한 행동을 학습하고 있음을 입증합니다.

의의 및 주장
본 논문은 HAL이 표준적인 정렬 목표의 범위를 벗어나 있던 "부드러운(soft)" 질적 속성을 정렬하는 실행 가능한 경로를 보여준다고 주장합니다. 대조 데이터를 통해 명시적이고 해석 가능한 특성을 도출하고 이를 투명한 보상 신호로 압축함으로써, HAL은 다음을 가능하게 합니다:

1. 측정 가능한 정렬: 주관적인 개념인 "인간다움"을 정량화 가능한 스칼라 보상으로 변환합니다.
2. 투명성 및 진단: 블랙박스 형태의 보상 모델과 달리, HL16Q 점수를 통해 연구자들이 어떤 구체적인 대화 특성이 권장되고 있는지 검사하고, 의도치 않은 효과나 보상 해킹(reward hacking)을 진단할 수 있습니다.
3. 방법론의 일반화: 이 접근법은 (측정 가능하게 만들 수 있다는 전제하에) 대조 사례로부터 특성을 추론함으로써, 기존에 정의하기 어려웠던 다른 특성들(예: 아첨, 조작 등)을 유도하는 일반적인 방법론을 제공합니다.

저자들은 이 방법이 인지된 인간다움을 개선하지만, 추출된 특성들이 훈련 데이터(튜링 테스트)의 대화 규범에 특화되어 있어 다른 문맥(예: 의료 대화)을 위해서는 도메인 적응이 필요할 수 있다고 언급했습니다. 또한, 보상 구축을 위해 LLM 판별기를 사용하는 데 따르는 계산 비용을 인정하면서도, HAL을 해석 가능성이 최우선인 풍부한 보상 구축을 위한 정교화 단계 또는 방법론으로 위치시켰습니다.