기술 요약: Yuvion LLM

문제 정의

본 논문은 현재 대규모 언어 모델(LLM) 안전 시스템의 근본적인 한계가 인간의 적대적 행동에 대한 취약성에 있다고 주장한다. 기존의 안전 시스템은 많은 위험을 완화하지만, 완곡한 표현, 상징적 치환, 교차 언어 혼합 또는 다회차 탈옥(multi-turn jailbreaks)을 통한 전략적 회피 시도에는 종종 실패한다. 저자들은 안전 실패가 단순히 자연스러운 입력 때문이 아니라, 적응적이고 전략적인 회피로부터 발생한다고 상정한다. 또한, 기존의 안전 지향 모델들은 주로 단일 회차 판단에 국한되어 있으며, 상표권 침해 탐지나 다중 모달 증거 합성(multi-modal evidence synthesis)과 같은 복잡하고 실제적인 안전 시나리오에 필요한 "에이전트 역량"(계획, 도구 사용, 다단계 추론)이 부족하다. 결과적으로, 표준 벤치마크에서 측정된 안전 성능은 실제 배포 환경의 견고성을 과대평가하는 경아가 있다.

방법론

이러한 격차를 해소하기 위해, 저자들은 적대적 견고성과 에이전트 역량을 제1순위 목표로 설계된 Yuvion LLM을 제시한다. 개발은 세 가지 뚜렷한 단계로 구성된 점진적 안전 학습 패러다임을 따른다:

1. 지식 강화 지속 사전 학습(Knowledge-Enhanced Continued Pretraining):

   • 모델은 안전 도메인 지식을 내재화하기 위해 명시적으로 구축된 코퍼스에서 지속 사전 학습을 수행한다.
   • 여기에는 정책 문서, 리스크 분류 체계, 위반 패턴 및 롱테일(long-tail) 적대적 표현으로부터 유도된 구조화된 지식이 포함된다.
   • 데이터는 일반적인 언어 능력을 유지하면서 의미적 관계를 고정하기 위해 다양한 입도(구조적 트리플, 문장 수준 기술)로 조직되며, 일반 도메인 데이터와의 혼합 학습을 통해 진행된다.

2. 정책 기반 다중 작업 안전 사후 학습(Policy-Grounded Multi-Task Safety Post-Training):

   • 리스크 인지 지도 학습(Risk-Aware Supervised Fine-Tuning, SFT): 모델은 리스크 이해, 미세한 분류, 정책 기반 설명을 학습하기 위해 다중 작업 지시 데이터셋으로 학습된다. 결정적으로, 이 단계에서는 완곡한 표현, 교차 언어 변형, 역할극 등의 적대적 증강을 포함하여, 표면적인 어휘 패턴이 아닌 잠재적 의도에 기반한 판단을 하도록 유도한다.
   • 강화 학습(RL) 정책 최적화: 그룹 상대 정책 최적화(GRPO)를 사용하여 모호한 사례와 적대적 공격에 대해 모델을 정교화한다. 보상 함수는 결정의 정확성, 정책 일관성, 추론 품질 및 견고성을 평가하며, 단일 참조 대상만으로는 불충분한 상황에서의 행동을 최적화한다.

3. 안전 인지 에이전트 강화 학습(Safety-Aware Agentic Reinforcement Learning):

   • 이 단계는 모델을 단일 회차 분류에서 구조화된 워크플로우 내의 궤적 수준 추론 및 행동으로 확장한다.
   • 도구 통합 추론(Tool-Integrated Reasoning): 모델은 외부 도구(예: 이미지 탐지기, 분류기)를 호출하고 엄격한 출력 형식을 따르는 법을 배운다. 보상은 형식 준수와 도구 호출의 정확성으로 분해된다.
   • 검색 증강 추론(Search-Augmented Reasoning): 모델은 외부 증거를 반복적으로 검색하고, 검색된 정보를 평가하며, 근거 있는 결정을 합성하도록 학습된다. 보상은 실행 성공 여부와 최종 답변의 사실적 정확성에 기반한다.

평가 프레임워크: Yuvion LLM RiskEval (YLRE)

저자들은 일반적인 능력부터 실제 배포에 이르기까지 모델을 평가하기 위해 93개의 벤치마크를 포괄하는 4단계 점진적 평가 프레임워크를 도입한다:

• 레벨 1 (오픈 소스 일반): 일반적인 언어 능력(지식, 추론, API-Bank 및 Seal-0와 같은 에이전트 벤치마크)의 유지력을 측정한다.
• 레벨 2 (오픈 소스 안전): 표준 콘텐츠 안전 및 가드 벤치마크(예: ToxiGen, SEval)에 대한 공개 안전 성능을 평가한다.
• 레벨 3 (적대적 견고성): 5가지 리스크 카테고리(광고, 도박, 학대, 성인물, 스팸)에 걸쳐 정적 및 동적(진화하는) 적대적 공격을 특징으로 하는 자체 구축 벤치마크이다.
• 레벨 4 (산업 현장 배포): 실제 상업적 워크플로우에서 파생된 내부 벤치마크를 통해 도메인 역량(리스크 귀속, 정책 이해) 및 비즈니스 유용성(UGC 중재, AIGC 안전)을 평가한다.

주요 결과

• 일반 역량 유지: Yuvion-32B는 광범위한 일반 능력을 유지하며, 33개 일반 벤치마크에서 평균 정확도 0.7988을 달로 하여 Qwen3-32B와 같은 동일 규모의 범용 모델과 대등한 성능을 보인다.
• 안전 성능: Yuvion-32B는 오픈 소스 콘텐츠 안전 벤치마크에서 Macro F1 78.2%를 달성하여, 훨씬 더 큰 규모의 독점 모델인 GPT-5.4(72.2%)와 Qwen3-Max(73.9%)를 크게 앞질렀다.
• 적대적 견고성: 자체 구축된 동적 적대적 벤치마크에서 Yuvion-32B는 가장 낮은 결합 점수(20.6%)를 기록하였으며, 이는 GPT-5.4(22.3%) 및 Qwen3-Max(24.4%)에 비해 우수한 회피 방어 능력을 나타낸다.
• 에이전트 역량: Yuvion-32B는 API-Bank에서 90.45%, Seal-0에서 40.54%를 기록하여 베이스 모델보다 뛰어난 성능을 보였으며, 훨씬 더 큰 독점 모델들과 대등하거나 이를 능가했다.
• 산업 현장 배포: Yuvion-32B는 내부 도메인(85.78) 및 비즈니스(86.34) 벤치마크에서 가장 높은 종합 점수를 획득하여, 모든 평가된 오픈 웨이트 및 독점 베이스라인을 넘어섰다.
• 규모 효율성: Yuvion-8B는 규모가 작음에도 불구하고 여러 안전 작업에서 GPT-5.4 및 Qwen3-MAX를 포함한 대부분의 최첨단 베이스라인을 능가하였으며, 이는 타겟팅된 적대적 및 에이전트 학습이 단순한 모델 규모보다 더 영향력 있을 수 있음을 시사한다.
• 가드 모델 비교: Yuvion-32B는 전용 가드 모델과의 쌍방향 승률에서 2위를 차지했으나, 논문은 더 좁은 초점으로 학습된 특화 버전(Yuvion-Guard-8B)이 가장 높은 승률(85.6%)을 달성했음을 언급한다. 이는 일반 Yuvion 모델이 협소한 가드 특화 분류보다는 포괄적인 역량을 우선시함을 확인시켜 준다.

의의 및 주장

본 논문은 콘텐츠 안전이 고유한 훈련 패러다임과 평가 방법론을 가진 전문적인 파운데이션 모델 도메인을 필요로 하는 본질적으로 적대적인 문제로 다뤄져야 한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 적대적 견고성과 에이전트 역량은 내재되어야 한다: 안전은 단순히 사후에 붙이는 패치가 아니다. 이는 적대적 인식과 에이전트 워크플로우를 핵심 모델 개발 과정에 통합하는 것을 요구한다.
2. 타겟팅된 학습이 규모를 압도한다: 결과는 타겟팅된 안전 도메인 학습이 훨씬 더 큰 범용 모델을 능가하는 최첨단 성능을 낼 수 있음을 입증하며, 규모 자체가 안전의 주요 동인이라는 통념에 도전한다.
3. 가드 모델의 한계: 전용 가드 모델이 내부 비즈니스 벤치마크에서 보여준 거의 제로에 가까운 성능은, 일반적인 안전 필터링과 실제 배포에 필요한 미세하고 정책에 근거한 역량 사이의 간극을 드러낸다.
4. 폐쇄 루프 진화: 본 논문은 모델이 지식 주입, 적대적 게임 플레이, 배포 기반 피드백을 통해 지속적으로 진화하여 회피 전략의 "군비 경쟁"에 발맞출 수 있는 폐쇄 루프 반복 프레임워크를 제안한다.

저자들은 Yuvion LLM이 리스크 거버넌스 연구의 참조점이 될 것이라고 결론짓는다. 즉, 광범위한 일반적 유용성을 유지하면서도 복잡하고 적대적인 환경에서 견고하고 정책적으로 일관된 안전성을 달성하는 것이 가능하다는 것을 보여준다.