기술 요약: ART를 이용한 멀티모달 LLM의 파인튜닝

문제 정의

대규모 언어 모델(LLM)이 텍스트와 이미지를 처리할 수 있는 멀티모달 대규모 언어 모델(MLLM)로 진화했음에도 불구하고, 대부분의 다운스트림 태스크(예: 수학적 추론, 코드 실행, 도구 사용)는 여로 텍스트 기반 지시문 형태로 구성되어 있습니다. 이러한 모델을 전문화하기 위해 LoRA(Low-Rank Adaptation) 및 소프트 프롬프팅(Soft Prompting)과 같은 매개변수 효율적 미세 조정(PEFT) 기법이 흔히 사용됩니다. 그러나 두 방식 모두 고처리량 서빙 엔진(예: vLLM) 배포 시 다음과 같은 중대한 장벽에 직면합니다:

• LoRA는 어댑터 가중치의 동적 로딩을 요구하며, 이는 메모리를 파편화하고, 사전 컴파일된 CUDA 그래프를 무효화하며, 서로 다른 어댑터를 사용하는 여러 동시 사용자에게 서비스를 제공할 때 처리량을 저하시킵니다.
• 소프트 프롬프팅은 연속적인 임베딩 벡터를 토큰 파이프라인에 주입해야 하며, 이는 고성능 엔진의 최적화를 깨뜨리거나 프리픽스 캐싱(prefix caching)과 같은 기능을 비활성화하는 커스텀 엔지니어링을 필요로 합니다.

본 논문은 모델의 가중치를 수정하지 않으면서도, 프로덕션 서빙 엔진에서 구조적 우회책을 요구하지 않는 파인튜닝 방법론의 필요성을 제기합니다.

방법론: ART 기반 강화 학습 (ART)

저자들은 고정된(frozen) MLLM의 가중치를 수정하는 대신, 오직 원시 시각적 입력만을 최적화하여 모델을 적응시키는 방법인 ART를 제안합니다. 핵심 직관은 비전 트랜스포머(ViT)와 교차 모달 투영 레이어가 픽셀 좌표로부터 모델의 임베딩 공간으로 가는 고정되고 사전 정렬된 연속 매핑 역할을 한다는 것입니다. 픽셀을 통해 그라디언트 하강법으로 입력을 튜닝함으로써, 내부 파라미터를 건드리지 않고도 모델의 텍스트 출력 동작을 유도할 수 있습니다.

기술적 구현

1. 픽셀 공간 파라미터화:

   • 학습 가능한 이미지는 시드 이미지(또는 랜덤 노이즈)로부터 초기화되며, 최적화 과정에서 픽셀 값이 유효한 [0, 1] 범위를 유지하도록 로짓 공간($X_{raw}$)에서 파라미터화됩니다.
   • 순방향 패스(forward pass) 동안, $X_{raw}$는 추론을 위해 8비트 RGB 이미지($X_{pixel}$)로 양자화됩니다.
   • 역방향 패스(backward pass) 동안, 그라디언트는 고정된 모델에 입력되기 전 ImageNet 통계치로 정규화되는 연속적인 $X_{raw}$ 텐서에 대해 계산됩니다.

2. 최적화 루프 (2-Pass):

   • 패스 A (Rollout): 양자화된 8비트 이미지가 고성능 vLLM 엔진으로 전송됩니다. 엔진은 주어진 텍스트 쿼리에 대해 $N$개의 독립적인 완성을 생성합니다. 이 출력들은 태스크별 보상 함수(예: 수학의 경우 정확한 일치, QA의 경우 정답 여부)를 통해 점수가 매겨집니다.
   • 패스 B (Backward): 그라디언트가 고정된 모델로 전달되어 $X_{raw}$를 업데이트합니다. 저자들은 **그룹 상대 정책 최적화(GRPO)**와 **동적 샘플링 정책 최적화(DAPO)**를 활용합니다. 이는 별도의 크리틱(critic) 모델을 필요로 하지 않아 VRAM을 절약합니다. 목적 함수는 토큰 수준 정규화와 비대칭 클리핑을 사용하여 학습을 안정화하는 PPO 스타일의 대리 손실(surrogate loss)을 사용합니다.

3. 아티팩트 특성:

   • 결과물인 최적화된 이미지는 표준 8비트 PNG입니다.
   • 모델이 고정되어 있기 때문에, 서빙 인프라는 ART 조건부 추론을 표준 멀티모달 요청으로 취급하며, 별도의 커스텀 가중치 관리자나 커널 수정이 필요하지 않습니다.

주요 기여

1. 새로운 파인튜닝 패러다임: 가중치 수정 없이 단일 입력 이미지를 최적화함으로써 고정된 멀티모달 모델을 적응시키는 방법인 ART를 도입했습니다.
2. 성능 벤치마킹: ART가 특정 벤치마크(수학 및 구조화된 도구 사용)에서 가중치 공간 튜닝의 엔지니어링 마찰을 피하면서도 LoRA와 대등하거나 이를 능가함을 입증했습니다.
3. 스테가노그래피 아티팩트: 파인튜닝 정보가 이미지 내의 고주파 시각 구조로 인코딩되는 "컴퓨테이셔널 아트(computational art)"를 생성합니다. 논문은 이러한 아티팩트가 공격적인 32비트에서 8비트 양자화 과정에서도 살아남는, 태스크 특화 정보를 저장하는 "AI를 위한 스테가노그래피"로서 기능한다고 언급합니다.

결과

저자들은 Qwen3.5-0.8B 및 Qwen3.5-2B 모델을 세 가지 벤치마크(GSM8K(수학), GPQA(대학원 수준 QA), ToolMind(구조화된 도구 사용))에서 평가했습니다.

• 수학 (GSM8K): 0.8B 모델에서 ART는 **58.53%**의 정확도를 달성하여, 텍스트 전용 베이스라인(39.65%)과 LoRA(49.51%)를 모두 능가했습니다. 2B 모델에서는 ART가 고정 시드 이미지 베이스라인(81.20%)과 대등했으며, LoRA(77.33%)는 약간 뒤처졌습니다.
• 도구 사용 (ToolMind): ART는 0.8B 모델에서 상당한 이득을 보였습니다 (73.80% vs 베이스라인 36.65% 및 LoRA 69.50%). 2B 모델에서는 LoRA가 ART(69.05% vs 67.15%)를 약간 앞섰으나, 두 수치 모두 신뢰 구간이 겹치는 범위 내에 있었습니다.
• 대학원 QA (GPQA): ART는 이 태스크에서 성능이 저하되었으며, 두 모델 모두에서 성능이 하락했습니다 (예: 0.8B에서 23.44%에서 20.15%로 감소). 저자들은 이를 높은 정밀도의 추론을 요구하는 태스크의 특성 때문이며, 시각적 프리픽스가 오히려 방해 요소(distraction)로 작용할 수 있기 때문이라고 설명합니다. LoRA가 여기서 약간의 우위를 유지했으나, 전반적으로 두 방법 모두 성능이 낮았습니다.
• 효율성: ART 학습은 GSM8K에서 LoRA보다 약 2배, ToolMind에서는 3배 더 빨랐습니다. ART를 이용한 추론은 특히 ToolMind에서 LoRA보다 빨랐는데, 이는 학습된 출력 크기 최적화와 어댑터 로딩 오버헤드의 부재 때문인 것으로 보입니다.
• 정보 저장: 최적화된 이미지는 손실 없는 PNG 파일 크기가 크게 증가했음을 보여주었습니다 (예: 0.8B 모델의 GSM8K의 경우 8.5 KB에서 98.0 KB로 증가). 이는 그라디언트 최적화가 8비트 양자화에도 불구하고 시각적 아티팩트 내에 태스크 정보를 성공적으로 저장했음을 나타냅니다.

의의 및 주장

본 논문은 ART가 전통적인 PEFT 방식에 대한 비침습적이고 매우 효율적인 대안임을 주장하며, 특히 로컬로 서빙되는 소형 MLLM에 유용하다고 말합니다. 시각적 입력을 학습 가능한 인터페이스로 재사용함으로써 ART는 다음을 가능하게 합니다:

• 프로덕션 준비 완료: 동적 가중치 로딩이나 CUDA 그래프 무효화 없이 vLLM과 같은 고처리량 엔진에 원활하게 통합됩니다.
• 경쟁력 있는 성능: 시각 채널의 사전 정렬된 잠재 공간이 소형 모델의 디코더 가중치보다 태스크 신호를 주입하는 데 더 효과적인 지점을 제공하기 때문에, 수학이나 도구 사용과 같은 절차적 태스크에서 LoRA와 대등하거나 이를 능가할 수 있습니다.
• 컴퓨테이셔널 아트: 고주파 노이즈 패턴 내에 정보를 인코딩하여 시각적으로 뚜렷한 아티팩트를 생성함으로써, 입력 이미지를 휴대 가능한 압축된 파라미터 텐서로 변환합니다.

저자들은 일반화 가능성에 대해 신중한 태도를 유지하며, 실험이 Qwen3.5 아키텍처에 국한되었다는 점과 추상적 추론(GPQA 등)이 필요한 태스크에서는 방법론의 효과가 달라질 수 있음을 언급했습니다.