🤖 machine learning

FRISM: Fine-Grained Reasoning Injection via Subspace-Level Model Merging for Vision-Language Models

FRISM 은 특이값 분해를 통해 대형 추론 모델 작업 벡터를 세분화하고 서브공간 스케일링 계수를 적응적으로 조정함으로써 비전-언어 모델의 추론 능력을 효과적으로 향상시키면서 시각적 성능은 유지하는 세밀한 추론 주입 프레임워크입니다.

원저자: Chenyu Huang, Peng Ye, Xudong Tan, Jinhan Mu, Shenghe Zheng, Li Shen, Tao Chen

게시일 2026-05-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenyu Huang, Peng Ye, Xudong Tan, Jinhan Mu, Shenghe Zheng, Li Shen, Tao Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 가지 매우 다른 전문가가 있다고 상상해 보세요:

시각 예술가: 이미지를 보고, 자신이 보는 것을 설명하며, 시각적으로 세상을 이해하는 데 탁월한 모델입니다. 하지만 까다로운 수학 문제를 물어보면 단순히 추측하거나 간단한 답변만 내놓을 수 있습니다.
논리 마법사: 복잡한 퍼즐을 풀고, 수학을 수행하며, 어려운 단계를 추론하는 데 천재적인 모델입니다. 하지만 이미지를 보여주면 그것을 잘 '보지' 못하거나 시각적 세부 사항을 무시할 수 있습니다.

이 논문의 목표는 이 두 전문가를 결합하여 완벽하게 보고 깊이 생각할 수 있는 하나의 슈퍼 전문가를 만드는 것입니다.

문제: '둔한 칼' 접근법

과거 과학자들은 두 모델을 단순히 뇌의 계층(layer)별로 평균 내어 혼합하려 했습니다. 이는 '논리 마법사'의 뇌에서 한 숟가락씩 퍼내어 '시각 예술가'의 뇌에 층층이 붓는 것처럼 국을 섞으려 하는 것과 같습니다.

문제점은 너무 거칠다는 것입니다.

'논리'를 너무 많이 추가하면, 모델은 이미지를 보는 법을 잊기 시작합니다 (눈이 먼 천재가 됩니다).
'논리'를 너무 적게 추가하면, 모델은 시각 인식에는 여전히 능하지만 여전히 어려운 문제를 풀지 못합니다.
이는 볼륨 노브만 올리거나 내리며 라디오를 튜닝하려는 것과 같습니다. 정적인 잡음 없이 완벽한 방송국을 찾을 수 없습니다.

해결책: FRISM ('외과용 메스')

저자들은 FRISM이라는 새로운 방법을 제안합니다. 전체 뇌를 한 번에 혼합하는 대신, **SVD(특이값 분해)**라는 기법을 사용합니다.

비유: 오케스트라
'논리 마법사'의 뇌를 복잡한 교향곡을 연주하는 거대한 오케스트라라고 상상해 보세요.

기존 방법: 전체 오케스트라의 볼륨을 높여 시각 예술가가 전체 교향곡을 연주하게 하려 합니다. 이는 시각 예술가 자신의 음악을 압도해 버립니다.
FRISM 방법: FRISM은 지휘자처럼 오케스트라를 현악기, 타악기, 플루트 등 개별 섹션으로 분리할 수 있습니다. 논리의 '추론' 부분은 주로 플루트가 연주하는 반면, '시각적 잡음'은 타악기가 연주한다는 것을 깨닫습니다.

FRISM은 각 섹션을 신중하게 경청합니다:

추론에 필수적인 '악기'(부분 공간) 를 식별합니다.
시각 예술가가 생각할 수 있도록 '플루트'(추론) 의 볼륨을 부드럽게 높입니다.
시각 예술가가 보는 능력을 잃지 않도록 '타악기'(시각적 잡음) 는 조용히 유지합니다.

교사 없이 어떻게 수행했는가

일반적으로 모델에게 추론을 가르치려면 정답이 포함된 수천 개의 예시 (레이블이 지정된 데이터) 가 필요합니다. 하지만 저자들은 그런 자료가 없었습니다.

대신 **자기 증류 (Self-Distillation)**라는 영리한 트릭을 사용했습니다:

원래 '시각 예술가'를 엄격한 교사로 삼았습니다.
새로운 '슈퍼 전문가'(병합된 모델) 에게 이렇게 말했습니다: "너는 논리 마법사처럼 생각할 수 있어야 하지만, 그림을 설명하는 방식은 바꾸지 않아야 한다. 그림에 대한 설명이 변하면 실패한 것이다."
모델은 인간의 채점 없이도 추론 능력을 흡수하면서도 원래의 시각 능력을 엄격하게 보존하는 법을 배웠습니다.

결과

이 논문은 이러한 '외과적' 접근법이 기존의 '둔한' 혼합 방법보다 훨씬 효과적임을 보여줍니다.

향상된 추론: 새로운 모델은 수학 및 논리 퍼즐을 훨씬 더 잘 풉니다.
시각 능력 손실 없음: 다른 방법들과 달리 '실명'하지 않았습니다. 이전과 마찬가지로 이미지를 이해하는 능력을 그대로 유지했습니다.
효율성: 막대한 양의 새로운 학습 데이터나 비싼 컴퓨팅 파워 없이 이를 달성했습니다.

한 마디로 요약

FRISM은 추론 모델에서 오직 '생각하는 부분'만 신중하게 골라내어 주입하는 동시에 '보는 부분'은 완전히 건드리지 않고, 시각 모델에게 깊이 생각하는 법을 가르치는 지혜로운 방법입니다. 이는 두 재료를 부숴 섞는 것과 섬세한 수플레를 조심스럽게 접어 넣는 것의 차이와 같습니다.

기술 요약: FRISM

문제 정의

비전-언어 모델 (VLM) 은 지각 작업에서 뛰어난 성과를 거두었지만, 대규모 추론 모델 (LRM) 에서 발견되는 복잡한 추론 능력은 종종 부족합니다. 모델 병합은 비용이 많이 드는 사후 학습 없이 VLM 에 추론 능력을 주입하는 매개변수 효율적인 방법을 제공하지만, 기존 방법들은 거친 입자의 레이어 수준에서 작동합니다. 이러한 접근 방식은 전체 레이어를 원자 단위로 취급하여 중요한 트레이드오프를 초래합니다. 즉, 추론 능력을 향상시키면 시각적 지각 능력이 저하되고 그 반대의 경우도 발생합니다. 현재 레이어 단위 병합 전략 (예: FRANK, IP-Merging) 은 동일한 레이어 내에서 추론과 시각적 표현을 분리하는 데 어려움을 겪어, 두 측면 모두에서 최적이지 않은 성능을 보입니다.

방법론

저자들은 FRISM(Fine-grained Reasoning Injection via Subspace-level model Merging) 을 제안합니다. 이는 병합 패러다임을 레이어 수준에서 서브스페이스 수준으로 전환하는 프레임워크입니다.

핵심 가설

FRISM 은 추론 능력과 시각적 표현이 단일 레이어 내에서도 매개변수 공간 내에서 서로 다른 서브스페이스에 존재한다는 관찰에 기반합니다. 따라서 균일한 레이어 단위 스케일링 계수는 불충분하며, 이는 고강도가 필요할 수 있는 유익한 추론을 시각적 노이즈와 필연적으로 결합시킵니다.

기술적 프레임워크

FRISM 은 두 단계로 작동합니다:

분해 및 초기화 (1 단계):
- LRM 작업 벡터 ( $\tau_{lrm}$ ) 를 단일 업데이트로 취급하는 대신, FRISM 은 특이값 분해 (SVD) 를 사용하여 이를 직교 서브스페이스로 분해합니다: $U, S, V^\top = \text{SVD}(\tau_{lrm})$ .
- 추론 작업의 의미 방향을 보존하기 위해 특이 벡터 ( $U, V$ ) 와 특이값 ( $S$ ) 은 고정됩니다.
- 각 서브스페이스마다 주입 강도를 적응적으로 조절하는 경량 학습 가능한 게이트 파라미터 $g$ 가 도입됩니다. 유효 특이값은 $S_{eff} = \text{Sigmoid}(g) \odot S$ 로 계산됩니다.
- 병합된 레이어는 다음과 같이 표현됩니다: $\theta_{merged} = \theta_{vlm} + \lambda_{lrm} \cdot U (S_{eff}) V^\top$ .
주입 및 학습 (2 단계):
- FRISM 은 희소한 다중 모달 추론 데이터셋의 필요성을 제거하는 레이블 없는 자기 증류 전략과 이중 목적 최적화 함수를 사용합니다.
- 시각 보존 ( $L_{distill}$ ): 레이블이 지정되지 않은 시각적 지각 데이터 (예: VizWiz) 에서 원본 VLM(교사) 과 병합된 모델(학생) 의 출력 분포 간의 Kullback-Leibler (KL) 발산을 최소화합니다. 이를 통해 병합된 모델이 견고한 시각적 이해력을 유지하도록 보장합니다.
- 추론 극대화 ( $L_{inject}$ ): 주입된 서브스페이스의 스펙트럼 크기를 극대화합니다 ( $-\sum \|S_{eff}\|^2$ ). 이 항은 LRM 작업 벡터로 정의된 추론 사전 지식을 흡수하도록 장려합니다.
- 전체 목적 함수: $L = L_{distill} + \alpha \cdot L_{inject}$ . 이는 스펙트럼 필터 역할을 하여 추론 주입과 시각 보존 사이의 최적 균형을 제공하는 서브스페이스를 자동으로 발견합니다.

주요 기여

서브스페이스 수준 병합 패러다임: 이 논문은 거친 입자의 레이어 단위 작업에서 정교한 입자의 서브스페이스 단위 조절로 이동함으로써 모델 병합을 재고합니다. 이를 통해 시각적 능력을 방해하지 않고도 추론 우위 구성 요소를 정밀하게 식별하고 통합할 수 있습니다.
적응형 SVD 조절: FRISM 은 추론 주입을 위해 SVD 를 통해 LRM 작업 벡터를 분해하는 것을 최초로 제안하며, 시각 보존 목적 하에 서브스페이스의 적응적 재가중치를 가능하게 합니다.
레이블 없는 자기 증류: 저자들은 레이블이 지정된 VL 추론 데이터셋이 필요 없이 안정적인 추론 전이를 달성하기 위해 이중 목적 최적화 (KL 발산 최소화 및 스펙트럼 크기 극대화) 에 의존하는 학습 전략을 설계했습니다.
플러그 앤 플레이 효율성: 이 방법은 매우 매개변수 효율적이며, 기본 모델과 분해된 특이 벡터를 고정된 상태로 유지하면서 게이트 파라미터만 학습하면 됩니다.

실험 결과

다양한 모델 규모 (3B, 7B, 32B) 와 아키텍처 (Qwen2.5-VL, ThinkLite-VL, InternVL) 에 걸쳐 다양한 벤치마크에서 광범위한 실험이 수행되었습니다.

추론 성능: FRISM 은 기존 병합 베이스라인 (Task Arithmetic, Ties-Merging, DARE, IP-Merging) 일관적으로 능가하며, 종종 기본 VLM 을 크게 능가합니다. 예를 들어, 7B 규모에서 FRISM 은 평균 49.4의 추론 점수를 달성하여 기본 VLM 보다 2.0 점 높았으며, ThinkLite-VL-7B 와 같은 고비용 사후 학습 모델의 성능에 근접했습니다.
시각 보존: 시각적 지각 작업에서 성능 저하를 겪는 다른 방법들과 달리, FRISM 은 시각적 능력을 대부분 보존하거나 오히려 약간 향상시킵니다. VL 지각 벤치마크에서 FRISM 은 모든 방법 중 가장 적은 성능 감소를 보였습니다.
효율성: FRISM 은 매우 효율적이며, 단일 GPU 에서 0.53M 개의 학습 가능한 파라미터와 0.49 시간의 학습 시간만 필요합니다. 이는 ~7000M 개의 파라미터와 ~2 시간이 필요한 DRIFT 와 같은 사후 학습 방법보다 훨씬 효율적이며, 동등하거나 우수한 추론 성능을 달성합니다.
애블레이션 연구: 실험은 SVD 분해 과정과 추론 극대화 손실 항이 모두 결정적임을 확인했습니다. SVD 를 제거 (레이어 단위로 복귀) 하거나 주입 손실을 제거하면 기본 VLM 과 유사한 성능이 나타나, 정교한 입자의 서브스페이스 제어와 능동적 추론 주입의 필요성을 입증했습니다.

중요성 및 주장

이 논문은 FRISM 이 추론 주입과 시각적 지각 보존 사이의 내재적 갈등을 해결함으로써 강력한 LRM 과 VLM 간의 간극을 효과적으로 메운다고 주장합니다. 추론 주입을 레이어 수준의 균형 잡기 작업이 아닌 서브스페이스 수준 필터링 문제로 취급함으로써, FRISM 은 다양한 VLM 아키텍처와 호환되는 다목적 플러그 앤 플레이 솔루션을 제공합니다.

저자들은 그들의 접근 방식이 비용이 많이 드는 레이블이 지정된 추론 데이터셋 없이도 시각적 견고성을 유지하면서 최첨단 추론 성능을 달성하는 자원 집약적 사후 학습에 대한 효율적인 대안을 제공한다고 강조합니다. 이 연구는 모델의 능력이 균일하게 분포된 것이 아니라 특정 랭크 서브스페이스 내에서 독특하게 인코딩된다는 것을 시사하며, 이는 더 정밀하고 효과적인 모델 병합을 가능하게 합니다.

참고: 이 논문은 더 긴 출력 시퀀스로 인한 추론 시간 증가 (과도한 사고) 와 현재 다른 크기나 구조의 모델 간 일반화 불가능성을 포함한 한계를 인정합니다. 또한 데이터 부족으로 인해 추론 목표가 직접적인 감독 대신 대리 (서브스페이스 크기) 에 의존한다고 명시합니다.