기술 요약: RiverONE

문제 정의

본 논문은 과학적 워크플로우, 특히 **양자 장치 교정(quantum device calibration)**을 위한 지식 집약적 시각-언어 모델(Vision-Language Models, VLMs) 배포의 과제를 다룹니다. 이 도메인에서 연구자들은 물리적 파라미터를 추출하고, 피팅(fit) 신뢰도를 평가하며, 실험 결과를 진단하기 위해 복잡한 플롯(예: Rabi oscillation, Ramsey fringe, resonance scan)을 해석해야 합니다.

대규모 VLM은 강력한 추론 능력을 보여주지만, 다음과 같은 이유로 과학적 환경(장비 근처 또는 에지 디바이스)에 배치하는 데 어려움이 있습니다:

1. 자원 제약: 수십억 개의 파라미터를 가진 대형 모델은 상당한 메모리와 연산량을 요구하므로, 로컬 또는 저지연 배포가 어렵습니다.
2. 압축 트레이드오프: 표준 모델 압축 기술(가중치 공유, 양자화)은 교정 작업에 필요한 미세한 시각적 추론 및 도메인 특화 지식을 저하시키는 경우가 많습니다. 예를 들어, 시각 계층을 압축하면 피팅 품질을 평가하는 능력이 약화될 수 있고, 언어 압축은 파라미터 추출 능력을 손상시킬 수 있습니다.

저자들은 현재의 양자 하드웨어가 직접적인 추론을 수행하기에는 아직 실용적이지 않지만, **시뮬레이션된 양자 계산(simulated quantum computation)**이 압축 과정에서 발생하는 정보 손실을 보상하여 컴팩트한 클래식 모델을 위한 구조화된 파라미터를 생성하는 강력한 "구성 단계(construction-stage)" 메커니즘 역할을 할 수 있다고 주장합니다.

방법론: RiverONE 아키텍처

RiverONE은 양자 교정 플롯 이해를 위해 설계된 경량 VLM(~19억 파라미터)입니다. 이는 특화된 시각 인코더와 압축된 언어 백본을 결합하며, 양자 생성 파라미터(Quantum-Generated Parameter, QGP) 메커니즘을 활용하여 손실된 표현 능력을 회복합니다.

1. 기본 아키텍처

• 시각 인코더 (Visual Encoder): 양자 교정 이미지로 사전 학습된 도메인 특화 Vision Transformer인 IsingViT-800M을 기반으로 합니다.
• 처리 파이프라인:
  • 픽셀 언셔플 (Pixel Unshuffle): 공간적 중복성을 보존하면서 채널 차원을 늘리고 공간 해상도를 줄이기 위해 공간적 서브 픽셀을 재배열합니다.
  • 교차 계층 결합 (Cross-Layer Concatenation): 여러 Transformer 계층의 특징을 병합하여 다운스트림 모듈에 다단계 추상화를 제공합니다.
  • MLP 프로젝터 (MLP Projector): 시각적 임베딩을 언어 모델의 임베딩 공간으로 매핑합니다.
• 언어 백본 (Language Backbone): 추론 엔진 역할을 하는 InternVL3.5-4B(구체적으로 Qwen3 기반 아키텍처)를 기반으로 합니다.

2. 압축 전략

모델 크기를 줄이기 위해 RiverONE은 두 가지 주요 압축 기술을 사용합니다.

• 시각 압축 (가중치 멀티플렉싱, Weight Multiplexing): MiniViT에서 영감을 받아, 시각 인코더는 여러 Transformer 블록($K < L$) 간에 어텐션 가중치를 공유합니다. 모든 계층에 고유한 가중치를 사용하는 대신, 경량화된 계층별 변환이 적용된 공유 블록을 사용합니다.
• 언어 압축 (가산 코드북 양자화, Additive Codebook Quantization): AQLM에서 영감을 받아, 언어 백본의 가중치를 학습된 코드북 엔트리의 중첩($W \approx \sum C_j[I_j]$)으로 근사합니다. 이를 통해 가중치 분포의 전역적 상관관계를 보존하면서 공격적인 저비트 압축이 가능합니다.

3. 양자 생성 파라미터 (QGP) 보상

위의 압축으로 인한 정보 손실을 상쇄하기 위해, 저자들은 오직 학습/구성 단계에서만 사용되는 시뮬레이션된 변분 양자 회로(VQC)인 QGP를 도입합니다.

• 메커니즘:
  1. 진폭 인코딩 (Amplitude Encoding): 압축된 시각 인코더의 공유 가중치 행렬을 양자 상태로 인코딩합니다.
  2. 변분 회로 (Variational Circuit): 매개변수화된 양자 회로(얽힘 및 회전 계층)가 이러한 상태를 처리하여 구조화된 비선형 변환을 생성합니다.
  3. 측정 및 판독 (Measurement & Readout): 측정 확률을 학습된 선형 변환을 통해 클래식 텐서로 매핑합니다.
  4. 물질화 (Materialization): 출력값은 공유 가중치를 재매개변수화하는 계층별 보상 파라미터(예: 어텐션 섭동, 잔차 게이트) 세트가 됩니다.
• 배포: 결정적으로, QGP는 추론 시에는 사용되지 않습니다. 학습이 수렴하면 생성된 파라미터는 정적 클래식 텐서로 "물질화"됩니다. 최종 RiverONE 모델은 양자 오버헤드 없이 완전히 클래식 GPU에서 실행됩니다.

4. 학습 파이프라인

모델은 QCalEval 벤치마크를 사용하여 두 단계 프로세스로 학습됩니다.

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):
   • 1단계 (In-Context Learning): 도메인 그라운딩을 구축하기 위해 데모 스타일의 예시를 통해 모델을 학습시킵니다.
   • 2단계 (Zero-Shot): 데모를 제거하여 교정 지식의 내재화를 강제합니다.
2. 혼합 선호도 최적화 (Mixed Preference Optimization, MPO): 과학적 추론과 피팅 신뢰도를 개선하기 위해 복합 손실 함수(선호도 손실, 품질 손실, 생성 손실)를 사용하여 모델 출력을 전문가의 선호도에 맞춥니다.

주요 기여

1. 양자 기반 LLM 구축 프레임워크: 시뮬레이션된 양자 회로가 구성 단계의 파라미터 생성기 역할을 하는 새로운 패러다임을 제안합니다. 이를 통해 추론 시 양자 하드웨어를 필요로 하지 않으면서도 컴팩트하고 지식 집약적인 클래식 VLM을 생성할 수 있습니다.
2. RiverONE 모델: 양자 교정 플롯 이해에 최적화된 1.9B 파라미터 VLM으로, 더 큰 규모의 도메인 특화 모델들에 비해 훨씬 적은 파라미터로 높은 성능을 달성했습니다.
3. QGP 모듈: 공유 시각 Transformer 블록을 위한 계층별 보상 파라미터를 생성하는 VQC 기반 생성기로, 압축 과정에서 손실된 교정 특화 추론 능력을 효과적으로 회복합니다.
4. 실증적 검증: 시뮬레이션된 양자 파라미터 생성이 동일한 파라미터 예산을 가진 클래식 어댑터보다 압축 보상에 있어 우수한 귀납적 편향(inductive bias)을 제공함을 입증했습니다.

실험 결과

모델은 시각적 설명, 결과 분류, 과학적 추론, 피팅 신뢰도, 파라미터 추출 및 교정 진단을 다루는 QCalEval 벤치마크에서 평가되었습니다.

• 베이스라인 대비 성능:
  • RiverONE-1.9B은 교정 작업에서 NVIDIA Ising Calibration 1(약 35B 파라미터 MoE 모델) 성능의 **최소 95%**를 달성했습니다.
  • 피팅 신뢰도(Q4) 및 진단(Q6)과 같이 교정에 민로한 카테고리에서 일반 목적의 오픈 소스 VLM(예: InternVL3.5-2B/4B/8B) 및 대규모 폐쇄형 모델(예: Claude Opus, GPT-5)을 크게 능가했습니다.
• 효율성:
  • RiverONE은 NVIDIA 베이스라인의 10% 미만의 파라미터 수를 사용합니다.
  • 피크 GPU 메모리 사용량을 약 68GB(Ising)에서 9.0GB로 줄여, 베이스라인의 13초 대비 0.8초의 레이턴시로 소비자용 GPU(예: RTX 4060 Ti)에 배포할 수 있게 했습니다.
• 절제 연구 (Ablation Studies):
  • 압축 단독 사용(QGP 없이)은 상당한 성능 저하(평균 점수 72.5에서 64.17로 하락)를 일으킵니다.
  • QGP를 추가하면 성능이 미압축 베이스라인에 가깝게 회복(72.37)되어, 시각적 가중치 공유를 보상하는 데 효과적임을 보여줍니다.
  • 2단계 SFT(ICL + Zero-Shot)는 압축 전 도메인 추론 기초를 확립하는 데 필수적입니다입니다.

의의 및 주장

본 논문은 시뮬레이션된 양자 계산이 과학적 AI의 구성 단계를 위한 실용적이고 효과적인 도구라고 주장합니다. 양자 회로의 표현력을 활용하여 구조화된 클래식 파라미터를 생성함으로써, RiverONE은 경량 모델이 훨씬 더 큰 전문 시스템의 "지식 집약적" 추론 능력을 유지할 수 있음을 보여줍니다.

이 연구는 과학적 AI를 위한 경로를 제시합니다. 즉, 결함 허용(fault-tolerant) 양자 하드웨어를 기다리는 대신, 연구자들은 오늘날 양자 영감을 받은 생성 방법을 사용하여 고정밀도와 저지연 추론이 중요한 양자 교정과 같은 특화된 도메인을 위한 효율적이고 배포 가능한 모델을 구축할 수 있습니다. 저자들은 향-후 연구가 학습 데이터 확장과 이 물질화된 양자 구조 파라미터 생성 방식을 다른 과학적 VLM에 적용하는 데 집중될 것이라고 언급했습니다.