기술 요약: Phoenix-VL 1.5 Medium

문제 제기

주권 AI 자산의 개발은 광범위한 일반 지능이나 멀티모달 능력을 희생하지 않으면서도 국경선 기반 모델들을 특정 국가의 맥락, 언어, 거버넌스 체계에 적응시키는 데 있어 중요한 도전에 직면해 있습니다. 이전의 지역화 모델 (예: SeaLLMs, Sailor2) 은 주로 작은 규모 (<32B 파라미터) 와 텍스트 전용 모달리티에 집중했습니다. 싱가포르의 경우, 외부 웹 검색에 의존하지 않고 에어갭 (air-gapped) 환경에서 안전하게 작동하기 위해서는 고위험 주권 및 기업 배포를 위해 지역 입법, 정책, 기관 용어 및 운영 맥락을 깊이 내재화해야 합니다. 프런티어 멀티모달 모델이 일반 지능, STEM, 코딩 분야에서 글로벌 경쟁력을 유지하면서 이러한 지역 맥락에 깊이 적응할 수 있는지에 대한 여전한 의문이 존재합니다.

방법론

Phoenix-VL 1.5 Medium 은 HTX 와 Mistral AI 간의 협력을 통해 개발된 123B 파라미터 규모의 네이티브 멀티모달 및 다국어 기반 모델입니다. 이 모델은 Mistral Medium 3.1 베이스 체크포인트를 기반으로 하며, 도메인 적응과 능력 보존 사이의 균형을 맞추도록 설계된 다단계 학습 파이프라인을 따릅니다.

1. 아키텍처

• 백본: 그룹화 쿼리 어텐션 (96 개 쿼리 헤드, 8 개 키 - 밸류 헤드), SwiGLU 활성화 함수, RMSNorm 을 사용하는 디코더 전용 트랜스포머.
• 비전 인코더: 14x14 패치를 통해 이미지를 처리하는 Pixtral 아키텍처를 따르는 2B 파라미터 규모의 비전 트랜스포머 (ViT).
• 토크나이저: 100 개 이상의 언어와 소스 코드 압축에 최적화된 131,072 개의 어휘 크기를 가진 Tekken 토크나이저 (Tiktoken 기반).

2. 데이터 선별 및 사전 학습

학습 데이터 혼합물은 12 개 언어로 구성되어 있으며, 53% 가 다국어 토큰으로 동남아시아 및 인접 언어를 강조합니다.

• 연속 사전 학습 (CPT): 싱가포르 및 지역 언어/지식에 모델을 적응시키기 위해 1 조 개의 토큰으로 수행되었습니다. 혼합물은 고품질 토큰을 우선시했으며, 파국적 망각을 방지하기 위해 원래 사전 학습의 재생 데이터를 포함했고, 싱가포르 입법과 같은 전문 출처는 최대 4 배까지 업샘플링되었습니다.
• 긴 컨텍스트 확장 (LCE): 2500 억 개의 토큰을 사용하여 중간 학습 단계를 통해 컨텍스트 창을 131,072 개 토큰으로 확장하는 단계로, YaRN 및 위치 기반 소프트맥스 온도 스케일링을 활용했습니다.
• 후속 학습:
  • 지시 튜닝: 모델을 다국어 어시스턴트로 정렬하기 위해 약 16B 토큰 (15B 지시 + 10% 재생) 에 대한 전체 파라미터 감독 미세 조정 (SFT) 을 수행했습니다. Mistral Large 3 에서의 증류가 사용되었습니다.
  • 멀티모달 연속 도메인 학습: 큐레이션된 싱가포르 특화 데이터 약 220 억 개의 토큰을 주입했습니다. 여기에는 지역 문화/랜드마크를 위한 인간 주석 멀티모달 데이터셋과 싱가포르 법령 및 거버넌스에 기반한 합성 텍스트 코퍼스가 포함되었습니다. 2 단계 접근법이 사용되었습니다: 먼저 견고한 시각적 지식을 위해 비전 구성 요소를 언프리즈하고, 그 다음 표현을 안정화하기 위해 이를 고정했습니다.
  • 온라인 직접 선호도 최적화 (ODPO): 행동 정교화, 무한 생성 감소, 지시 따름 개선을 위해 쌍별 보상 모델을 사용한 온라인 루프를 적용한 50 억 토큰 규모의 정렬 단계입니다.

3. 평가 프레임워크

저자들은 웹 검색이 없는 제로샷, 에어갭 환경에서 작동하도록 싱가포르 맥락에 맞춘 새로운 평가 세트를 도입했습니다:

• SG-Multimodal: 지역 장면 및 랜드마크에 대한 시각적 추론.
• SG-Gov: 16 개 정부 부처에 걸친 행정 구조에 대한 지식.
• SG-Legal: 싱가포르 입법 체계 내의 추론 및 회상.
• HT-Lexicon: 싱가포르의 '홈 팀' (공공 안전 기관) 에 특화된 운영 지식.
• 안전 프레임워크: 싱가포르의 규제 환경에 기반한 인식적 신중함, 유해 작업 거부, 프롬프트 인젝션 저항성을 평가하는 행동 및 안전 프레임워크.

주요 결과

지역화 성능

Phoenix-VL 1.5 Medium 은 네 가지 싱가포르 특화 벤치마크에서 모두 최첨단 성능을 달성하여 훨씬 더 큰 프런티어 모델들을 크게 능가했습니다:

• SG-Gov: 0.9265 (Nemotron 3 Super 의 0.7971 및 Llama 4 Maverick 의 0.7225 대비).
• SG-Legal: 0.8640 (Nemotron 3 Super 의 0.5919 대비).
• HT-Lexicon: 0.9081 (Nemotron 3 Super 의 0.8891 대비).
• SG-Multimodal: 0.7509 (Llama 4 Maverick 의 0.6716 대비).

이 모델은 특히 400B 파라미터 규모의 Llama 4 Maverick 과 117B 파라미터 규모의 GPT-OSS 를 이러한 지역화 도메인에서 능가하여, 주권 사용 사례의 경우 엄격한 데이터 선별과 깊은 도메인 적응이 단순한 거대한 파라미터 확장보다 우월할 수 있음을 입증했습니다.

일반 능력 및 다국어성

광범위한 도메인 적응에도 불구하고 이 모델은 글로벌 경쟁력을 유지했습니다:

• 다국어성: 말레이어 (0.9274), 타밀어 (0.8447), 중국어 (0.9330) 에서 높은 점수를 달성하여 더 큰 모델들과 경쟁하거나 능가했습니다.
• 일반 지능: MMLU (0.8348) 및 DocVQA (0.9305) 에서 강력한 성능을 유지했습니다.
• 트레이드오프: 수학/코딩에 특화된 모델들 (예: Qwen 3.5) 이 AIME 및 LiveCode 벤치마크에서 우위를 점했지만, Phoenix-VL 1.5 Medium 은 일반 추론 및 복잡한 멀티모달 작업 전반에 걸쳐 견고한 기준선을 유지하여 데이터 혼합물 설계가 능력 저하를 완화할 수 있음을 검증했습니다.

안전 및 행동

• 인식적 정직성: SG 입법 기반에서 0.619 점을 기록하여 오픈 가중치 베이스라인을 크게 능가했습니다.
• 아첨 완화: "사용자에게 양보" 및 "망상 아첨"에 대한 유발률을 28.5% 로 감소시켰습니다.
• 안전 장치: 97.6% 의 유해 멀티모달 작업을 차단하고 시스템 프롬프트 유출을 8% 로 제한했습니다.
• 거부: 과도한 보수주의 없이 알 수 없는 쿼리를 거부하는 데 높은 신중함 (0.736) 을 보여주었습니다.

추론 효율성

NVIDIA B200 GPU 에 대한 벤치마킹은 상호작용성과 처리량 사이의 트레이드오프를 드러냈습니다. 식별된 최적의 프로덕션 구성은 64 명의 동시 사용자를 위한 텐서 병렬화 (TP) 4 로, 사용자당 약 45 토큰/초를 달성하면서 MW 당 약 330,000 토큰/초의 효율성을 유지했습니다.

중요성 및 주장

이 논문은 Phoenix-VL 1.5 Medium 이 싱가포르를 위한 플래그십 주권 멀티모달 기반 모델로 기능한다고 주장합니다. 그 주요 중요성은 광범위한 스펙트럼 지능에 대한 최소한의 저하로 깊은 도메인 적응이 달성될 수 있음을 입증하는 데 있습니다. 지역 지식을 모델 가중치에 직접 내재화함으로써 이 모델은 정부 및 기업 사용에 필수적인 안전한 에어갭 배포를 가능하게 합니다.

저자들은 이 연구가 다음과 같은 이유로 글로벌 주권 AI 이니셔티브에 대한 견고한 기반을 제공한다고 주장합니다:

1. 프런티어 멀티모달 모델이 일반 능력을 희생하지 않고 지역 맥락에 효율적으로 적응될 수 있음을 입증.
2. 특정 기관 및 규제 환경에 기반한 새로운 평가 세트와 안전 프레임워크를 도입.
3. 지역화 지식 주입과 일반 추론 및 멀티모달 지능 보존 사이의 균형을 맞춘 학습 레시피를 확립.

이 작업은 모든 AI 도전을 위한 보편적 해결책으로 제시되는 것이 아니라, 국가 주권과 운영 제약을 존중하는 지역화되고 고성능의 AI 자산을 구축하기 위한 구체적이고 경험적으로 검증된 접근법으로 제시됩니다.