기술 요약: LLM의 가치 일관성을 위한 적대적 정렬(Adversarial Alignment)

문제 정의

대규모 언어 모델(LLM)의 급격한 확산은 인종, 종교, 정치 및 주권과 같은 민감한 영역에서의 가치 편향 및 불일치와 관련된 상당한 사회적 위험을 초래했습니다. 기존의 정렬 방식은 일반적인 안전성과 공정성에 초점을 맞추고 있으나, 이러한 민감한 맥락 내에서의 구체적인 가치 정렬은 간과하는 경우가 많습니다. 현재의 모델들은 학습 데이터에서 기인한 편향을 보이거나, 정치적 질문에 답변하기를 꺼리거나, 가치가 일치하지 않는 응답을 제공하는 경상을 보입니다. 특히 민감한 영역을 위해 설계된 전용 정렬 방법, 학습 데이터 및 평가 벤치마크가 부족한 실정입니다.

방법론

저자들은 세 단계의 학습 파이프라인을 통해 가치 일관성을 향상시키기 위해 설계된 **적대적 정렬 프레임워크(Adversarial Alignment Framework)**를 제안합니다:

1. 지속적 사전 학습(Continued Pre-training): 모델은 원래의 사전 학습 코퍼스에 내재된 편향을 완화하기 위해 민감한 영역(주권, 인권, 종교, 정치 및 민족)에서 추출한 가치 정렬 데이터로 지속적 사전 학습을 거칩니다.
2. 지시어 미세 조정(Instruction Fine-tuning): 두 가지 특정 지시어 형식이 사용됩니다:
   • 질의응답(Question-Answering): 직접적인 질의에 대해 가치가 정렬된 답변을 생성합니다.
   • 진술-반박(Statement-Rebuttal): 가치가 일치하지 않는 진술을 식별하고 정렬된 가치를 반영하는 반박을 생성합니다.
3. 적대적 학습(Adversarial Training): 이 핵심 구성 요소는 고품질의 도전적인 학습 데이터를 생성하기 위해 세 모델의 협력적 삼각 구도(triad)를 활용합니다:
   • 공격자(Attacker): 논쟁적이거나 편향된 질의 및 진술을 생성하는 미세 조정된 모델(Qwen2.5-7B)입니다.
   • 행위자(Actor): 가치 정렬 원칙을 준수하며 질의에 진실하게 답하거나 일치하지 않는 진술을 반박하는 더 유능한 모델(Qwen2.5-72B)입니다.
   • 비평가(Critic): 생성된 응답이 회피적이거나 불완전하거나 가치에서 벗어나지 않도록 필터링하는 독립적인 평가자(GLM-4-9B)입니다.

이 프레임워크를 바탕으로 저자들은 중국의 민감한 영역에 특화된 가치 일관성 대규모 언어 모델인 VC-LLM을 학습시켰습니다. 또한 5개 민감 영역에 걸친 31개 하위 범주를 다루는 이중 언어 평가 데이터셋(중국어 및 영어)을 구축했습니다.

주요 기여

• 적대적 정렬 프레임워크: Attacker-Actor-Critic 구조를 사용하여 민감한 영역을 위한 고품질의 도전적인 정렬 데이터셋을 자동으로 생성하는 새로운 방법론을 제시했습니다.
• VC-LLM: 중국의 민감한 영역에 대해 가치 일관성을 최적화하도록 설계된 대규모 언어 모델과 관련 학습 데이터셋을 학습시키고 공개했습니다.
• 이중 언어 평가 벤치마크: 주요 LLM의 비교 분석을 용이하게 하기 위해 민감한 영역에서의 가치 정렬을 평가하는 포괄적인 중국어-영어 평가 벤치마크를 구축했습니다.

실험 결과

저자들은 이 이중 언어 벤치마크를 통해 다양한 주류 베이스라인 모델(Qwen2.5, Baichuan2, GLM-4, Llama-3, GPT-4o 포함)에 대해 VC-LLM을 평가했습니다.

• 성능: VC-LLM은 중국어 및 영어 평가 모두에서 모든 베이스라인 모델을 능가했습니다. 중국어의 경우 총점 836점(평균 4.80/5.00)을 기록하여 두 번째로 높은 성능을 보인 모델(Qwen2.5-72B-Instruct)보다 0.40점 앞섰습니다. 영어의 경우 799점(평균 4.59)을 기록하여 차순위 모델보다 거의 1.0점 높았습니다.
• 도메인별 특성: VC-LLM은 특히 종교와 정치 영역에서 강력한 성능을 보였습니다. 주권 영역에서도 좋은 성능을 보였으나, 해당 도메인의 복잡성과 교차 문화적 민감성으로 인해 더 많은 어려움이 있었던 것으로 보입니다.
• 적대적 학습의 영향: 절제 연구(Ablation studies)를 통해 적대적 학습이 정렬을 크게 개선했음을 확인했습니다. 이 단계를 제거했을 때 점수가 크게 하락했습니다(예: VC-LLM의 경우 중국어 평균 1.08, 영어 평균 2.53 하락). 일반 모델(Qwen2.5-7B)에 동일한 적대적 학습을 적용했을 때도 상당한 개선이 나타나, 이 방법의 일반화 가능성을 입증했습니다.
• 이중 언어 일관성: VC-LLM은 다른 모델들에 비해 중국어와 영어 사이의 성능 격차가 작았으며, 이는 더 균형 잡힌 이중 언어 가치 정렬을 나타냅니다.

의의 및 주장

본 논문은 제안된 적대적 정렬 프레임워크가 민감한 영역에서 LLM의 가치 일관성 격차를 효과적으로 해결한다고 주장합니다. 지속적 사전 학습, 지시어 미세 조정, 그리고 다중 에이전트 적대적 학습 과정을 통합함으로써, 저자들은 성능을 희생하지 않으면서도 강력한 가치 정렬을 유지하는 모델을 학습시키는 것이 가능하다는 것을 입증했습니다. 결과는 현재의 주류 LLM들이 학습 데이터 내의 상충하는 신호들로 인해 이러한 영역에서 가치 불일치를 겪고 있음을 시사하며, 표적화된 적대적 정렬이 이러한 문제를 크게 완화할 수 있음을 보여줍니다. 저자들은 이 접근 방식이 민감한 애플리케이션을 위한 더 신뢰할 수 있고 가치 일관적인 AI 시스템을 향한 실행 가능한 경로를 제공한다고 결론짓습니다.