기술 요약: µCRASP

문제 정의

시각 - 언어 모델 (VLM) 은 최종 답변 전에 명시적인 중간 단계를 생성하는 사고 연쇄 (Chain-of-Thought, CoT) 추론을 활용하여 복잡한 다중 모달 작업에서 상당한 성과를 거두었습니다. 그러나 이러한 모델의 대규모 파라미터 수는 배포를 계산적으로 비용이 많이 들게 만듭니다. 구조화된 모델 가지치기는 효율성을 위한 길을 제시하지만, 기존 방법들은 VLM 에 적용될 때 CoT 추론 정확도를 유지하지 못합니다.

저자들은 이러한 실패의 두 가지 주요 원인을 다음과 같이 규명했습니다:

1. CoT 무관 가지치기: CoT 추론의 일관성은 희소 "피벗 토큰 (pivot tokens)" (추론 단계 간의 전환점) 에 의해 지배됩니다. 기존의 가지치기 방법은 모든 토큰을 동등하게 취급하여, 집계 손실 계산 하에서 이러한 중요한 전환 토큰의 신호를 희석시키고, 이로 인해 신호 대 잡음 비율 불균형을 초래합니다.
2. 교차 모달 불균형: 단일 모달 대규모 언어 모델 (LLM) 을 위해 설계된 전통적인 가지치기 방법은 시각 및 텍스트 모달리티 간의 고유한 활성화 분포를 고려하지 않습니다. VLM 은 구조적 이질성과 교차 모달 얽힘을 나타내므로, 순수 텍스트 모델에서의 가지치기보다 가지치기가 훨씬 더 어렵습니다.

방법론: µCRASP

저자들은 전역 파라미터 예산 하에서 추론 일관성과 교차 모달 정렬을 유지하도록 설계된 훈련 없는 구조화된 가지치기 프레임워크인 µCRASP(Multimodal Chain-of-thought Reasoning aware Structured Pruning, 다중 모달 사고 연쇄 추론 인지 구조 가지치기) 를 제안합니다. 이 방법은 네 가지 주요 단계를 통해 작동합니다:

1. 전역 귀속 (Global Attribution): 모든 토큰 위치에 대한 1 차 테일러 확장을 사용하여 구조 단위 (뉴런, 어텐션 헤드, GQA 그룹) 에 대한 표준 전역 중요도 점수 ($I_{global}$) 를 계산합니다.
2. 궤적 피벗 귀속 (Trajectory Pivot Attribution): 추론 단계 간의 전환을 표시하는 "피벗 토큰"(예: "Step 1:"과 같은 구조적 구분자 또는 "Therefore"와 같은 논리적 접속사) 을 식별합니다. 그런 다음 이러한 감지된 전환 영역 주변의 로컬 윈도우에 제한된 특정 귀속 점수 ($A_{pivot}$) 를 계산합니다. 이를 통해 가지치기 과정이 표면적 유창성이 아닌 논리적 연속성에 중요한 단위를 우선시하도록 보장합니다.
3. 교차 모달 의존성 점수화 (CMDS): 최대 평균 불일치 (MMD) 에서 영감을 받은 점수를 사용하여 각 디코더 레이어별 시각 및 텍스트 모달리티 간의 의존성을 정량화합니다. 이는 비전 - 언어 통합이 가장 강력한 레이어 (일반적으로 중간 레이어) 를 식별하여 이러한 "병목" 레이어가 공격적인 가지치기로부터 보호되도록 합니다.
4. 전역 배낭 최적화: CMDS 와 활성화 민감도에서 파생된 레이어별 보호 인자와 함께 전역 및 피벗 귀속 점수를 압축 조건 혼합 계수 ($\gamma_{dyn}$) 와 융합합니다. 그런 다음 이 방법은 파라미터 예산과 최소 유지 제약 조건을 준수하면서 추론 보존 중요도를 극대화하는 최적의 구조 단위 집합을 선택하기 위해 전역 배낭 문제를 해결합니다.

주요 기여

1. 실패 진단: 본 논문은 기존 구조화된 가지치기 방법들 (FLAP, LLM-Pruner, Attribution Pruning 등) 이 VLM 에서 CoT 추론을 유지하지 못하며, 종종 허용 가능한 퍼플렉시티를 유지함에도 불구하고 중간 정도의 압축 하에서 추론 체인이 붕괴된다는 것을 보여줍니다.
2. µCRASP 프레임워크: 추론에 중요한 구성 요소를 명시적으로 대상으로 하는 새로운 훈련 없는 가지치기 방법을 도입합니다. 이는 전환에 중요한 토큰을 포착하기 위한 추론 인지 귀속, 비전 - 언어 정렬을 유지하기 위한 교차 모달 의존성 모델링, 그리고 구조화된 가지치기를 안내하기 위한 레이어별 민감도를 통합합니다.
3. 종합 벤치마킹: 네 가지 VLM(Llama 3.2-11B, Qwen2.5-VL-7B/3B, Gemma-3-4B) 과 세 가지 추론 영역 (물리, 정량, 상식) 에 걸쳐 광범위한 평가를 제공합니다. 이 연구는 표준 토큰 수준 정확도 지표를 넘어 CoT 추적의 논리적 유효성을 평가하기 위해 LLM-as-Judge 지표를 활용합니다.

실험 결과

실험 결과에 따르면, µCRASP 는 베이스라인이 실패하는 증가하는 압축 수준 하에서 일관되게 추론 품질을 유지합니다:

• 추론 일관성 vs. 정확 일치: µCRASP 는 추론 일관성과 정확 일치 (EMa) 정확도 사이의 분리를 보여줍니다. 정확 일치 (EMa) 가 저하되더라도 CoT 추적의 논리적 유효성 (LLM-Judge 로 측정) 은 높게 유지됩니다. 예를 들어, Qwen2.5-VL-7B 에서 30% 가지치기 시, µCRASP 는 물리 추론에서 LLM-Judge 점수 8.87(밀집 모델의 9.02 대비) 을 유지하는 반면, 최상의 베이스라인 (LLM-Pruner) 은 7.32 로 떨어집니다.
• 고압축 내성: µCRASP 는 기존 방법보다 2025% 포인트 개선된 50% 가지치기까지 높은 추론 일관성 (LLM-J > 7.0) 을 유지합니다. 반면, 기존 방법들은 종종 2530% 이상의 가지치기에서 급격한 성능 붕괴를 겪습니다.
• 교차 모달 보호: 제거 실험 (Ablation studies) 은 CMDS 구성 요소가 비전 - 언어 정렬을 유지하는 데 필수적임을 확인시켜 주며, 이를 제거하면 의미적 유사성 및 포맷 점수에서 심각한 저하가 발생합니다.
• 분포 충실도: µCRASP 는 가지치기된 모델과 밀집 모델의 출력 로그 확률 분포 간의 낮은 KL 발산을 유지하여, 가지치기된 모델이 표면적 텍스트가 아닌 근본적인 추론 기하학을 보존함을 나타냅니다.

중요성 및 주장

본 논문은 µCRASP 가 추론 체인과 교차 모달 상호작용의 구조적 무결성을 명시적으로 모델링함으로써 VLM 압축의 중요한 격차를 해소한다고 주장합니다. 저자들은 다음과 점을 강조합니다:

• 추론 일관성은 구별됨: 문장 그대로의 답변 정밀도가 저하되더라도 논리적 체인 구조는 보존될 수 있으며, 이는 퍼플렉시티나 정확 일치와 같은 전통적인 지표로는 포착되지 않는 현상입니다.
• VLM 은 특수한 가지치기가 필요함: 교차 모달 결합으로 인해 VLM 을 가지치기하는 것은 단일 모달 LLM 을 가지치기하는 것보다 근본적으로 더 어렵습니다. 이를 무시하는 방법은 다중 모달 추론 작업에서 치명적인 실패로 이어집니다.
• 실용적 배포: 이 방법은 미세 조정 없이도 리소스가 제한된 하드웨어에서 유능한 다중 모달 추론 모델의 배포를 가능하게 하지만, 저자들은 가지치기 후 복구 (예: 지식 증류) 가 잠재적인 미래 방향임을 지적합니다.

저자들은 휴리스틱 피벗 감지에 대한 의존성, 보호 인자를 위한 수동 하이퍼파라미터 조정, 영어 벤치마크로 제한된 평가와 같은 한계를 지적하며 범위를 겸손하게 유지합니다. 그들은 새로운 추론 능력을 도입하는 것이 아니라 압축 하에서 기존 능력을 보존하는 데 초점을 맞추고 있습니다.