🤖 machine learning

Clustering and Token Denoising for Faster and More Robust VLMs

이 논문은 어텐션 가중치 클러스터링(attention-weighted clustering)과 잔차 수축 디노이징(residual shrinkage denoising)을 결리한 학습 불필요(training-free) 알고리즘인 ClustRS를 소개하며, 이는 시각적 토큰을 최대 97%까지 크게 줄이는 동시에 이미지 노이즈에 대한 강건성을 향상시키고 ScienceQA-IMG 및 MM-VET과 같은 VLM 벤치마크에서 성능을 유지하거나 개선한다.

원저자: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사진을 보고 질문에 답하거나, 장면을 묘사하거나, 보이는 것을 바탕으로 퍼즐을 풀 수 있는 컴퓨터를 상상해 보십시오. 이것이 바로 현대의 시각-언어 모델(visual-language models)이 약속하는 바입니다. 이는 이미지를 이해하는 능력과 인간처럼 자연스러운 텍스트를 생성하는 능력을 결합한 인공지능의 한 종류입니다. 이러한 시스템이 작동하려면, 먼저 이미지를 '토큰'이라고 불리는 긴 디지털 구성 요소 목록으로 변환해야 하며, 그 후 컴퓨터의 두뇌가 이를 처리하여 답변을 형성합니다. 이미지가 더 상세할수록 이 목록은 더 길어집니다. 이는 높은 정확도를 가능하게 하지만, 거대한 병목 현상을 만들어냅니다. 수백 개의 토큰을 처리하는 데는 엄청난 컴퓨팅 파워가 필요하기 때문에, 스마트폰이나 드론 같은 작은 기기에서 이러한 스마트한 시스템을 실행하는 것을 어렵게 만듭니다. 연구자들은 이 목록을 줄이기 위해, 중요한 부분은 유지하면서 불필요한 부분을 제거하는 방법을 오랫동안 찾아왔지만, 기존 방식들은 이미지가 불완전하거나 노이즈가 섞인 경우, 즉 대부분의 실제 사진이 그러한 경우에 종종 어려움을 겪습니다.

한 연구팀이 복잡한 AI 모델을 처음부터 다시 학습시킬 필요 없이 이 문제를 해결할 수 있는 새로운 경량화 방법을 개발했습니다. 그들의 접근 방식은 'ClustRS'라고 불리며, 이미지 토큰 목록을 위한 매우 효율적인 편집자처럼 작동합니다. 단순히 이미지의 가장 명확한 부분을 선택하거나 다양한 부분을 유지하려고 노력하는 대신, 이 시스템은 먼저 유사한 정보 조각들을 하나로 묶습니다. 그런 다음 각 그룹에서 단 하나의 대표를 선택함으로써, 최종 목록이 중복되지 않으면서도 이미지의 다양한 아이디어들을 포괄하도록 보장합니다. 결정적으로, 이 그룹화 과정은 실제 사진에서 흔히 발생하는 입자감이나 흐릿함 같은 시각적 '정적(static)' 또는 노이즈를 무시하도록 설계되어, 시스템이 손상된 데이터에 의해 잘못된 판단을 내리는 것을 방지합니다.

최선의 대표들을 선택한 후, 이 방법은 두 번째 정제 단계를 적용합니다. 이 단계에서는 선택된 토큰을 가져와서, 그룹의 평균적인 특성을 사용하여 오류를 수정함으로써 토큰 내부의 노이즈를 부드럽게 다듬습니다. 이 과정은 완전히 자동적이며 추가 학습을 요구하지 않으므로, 기존 모델에 즉시 적용할 수 있습니다. 연구진은 복잡한 장면을 묘사하거나 과학적 질문에 답하는 것과 같이 추론 능력을 측정하는 표준 벤치마크에서 이 기술을 테스트했습니다. 그들은 자신들의 방법이 이전 기술들보다 특히 이미지가 노이즈로 심하게 왜곡되었을 때나 허용된 토큰 수가 급격히 줄어들었을 때 훨씬 더 뛰어난 성능을 보였다는 것을 발견했습니다. 시스템이 통상적인 수백 개 대신 단 16개의 토큰만 사용하도록 강제된 가장 극단적인 테스트에서, 그들의 방법은 다른 방식들이 실패할 때 높은 정확도를 유지하며, 정보를 단순히 더 많이 갖는 것보다 더 똑똑하게 선택하고 정제하는 것이 더 가치 있다는 것을 증명했습니다.

이러한 접근 방식의 성공은 우리가 인공지능을 구축하는 방식에 대한 변화를 강조합니다. 어려운 조건들을 처리하기 위해 모델을 더 크거나 복잡하게 만드는 대신, 연구진은 그룹화와 정제라는 단순한 2단계 과정이 기존 시스템을 훨씬 더 견고하게 만들 수 있음을 보여주었습니다. 그들의 연구 결과는 이미지가 결코 완벽하지 않고 컴퓨팅 파워가 제한적인 실제 환경에서 이러한 모델이 진정으로 유용해지려면, 처리되는 정보의 양이 아니라 품질과 회복 탄력성에 초점을 맞춰야 함을 시사합니다. 이러한 개선이 재학습이라는 막대한 비용 없이 달성될 수 있음을 입증함으로써, 이 연구는 강력한 시각 지능을 훨씬 더 넓은 범위의 일상적인 기기에 배포할 수 있는 길을 열어줍니다.

기술 요약: 더 빠르고 견고한 VLM을 위한 클러스터링 및 토큰 디노이징 (Clustering and Token Denoising for Faster and More Robust VLMs)

문제 정의

LLaVA와 같은 최신 시각-언어 모델(VLM)은 사전 학습된 비전 인코더를 대규모 언어 모델(LLM)과 통합함으로써 인상적인 성과를 거두었습니다. 그러나 중요한 병목 현상이 존재합니다. 비전 인코더는 일반적으로 방대한 양의 시각적 토큰(예: 576 또는 729개)을 생성하며, 이는 LLM의 셀프 어텐션 메커니즘에 이차적인(quadratic) 계산 부담을 지웁니다. 이는 에지 디바이스(edge devices)에서의 효율적인 배포를 저해합니다.

토큰 프루닝(pruning) 기술이 존재하지만, 이들은 두 가지 주요 한계점에 직면해 있습니다:

학습 기반 방법: 비용이 많이 드는 재학습과 특수한 아키텍처 변경을 요구합니다.
학습 불필요(Training-free) 방법: 가볍기는 하지만, 실제 환경의 이미지 노이즈(예: 가우시안 노이즈, 솔트-앤-페퍼 노이즈) 하에서의 성능에 대해서는 충분히 탐구되지 않았습니다. 기존의 학습 불필요 선택기들은 오직 어텐션 점수에만 의존하거나(중복성 및 노이즈에 대한 취약성 초래), 혹은 오직 다양성에만 의존하는(토큰의 중요도 무시) 경향이 있습니다.

저자들은 두 가지 핵심적인 질문을 던집니다: 현재의 학습 불필요 프루닝은 노이즈에 의해 얼마나 심하게 저하되는가, 그리고 재학습 없이도 가볍고 노이즈에 강인한 선택기를 설계할 수 있는가?

방법론: ClustRS

본 논문은 견고한 토큰 프루닝을 위해 설계된 두 부분으로 구성된 학습 불필요 알고리즘인 ClustRS를 소개합니다. 이는 선택을 위한 **클러스터링 + 허버 거리(Clustering + Huber distance, C + H)**와 디노이징을 위한 **강건한 잔차 수축(Robust Residual Shrinkage, RRS)**으로 구성됩니다.

1. 클러스터링 + 허버 거리 (C + H)

이 구성 요소는 토큰의 돌출성(salience)과 다양성 사이의 트레이드오프를 해결하는 동시에, 노이즈로 인한 이상치(outlier)에 대한 강인함을 보장합니다.

투영 후 클러스터링 (Post-Projection Clustering): 원시 CLIP 특징을 클러스터링하는 방식과 달리, ClustRS는 비전-언어 투영 레이어를 거친 후의 토큰들을 클러스터링합니다. 이는 클러스터링이 LLM의 의미론적 임베딩 공간에서 발생하도록 하여, 모델 스스로의 개념적 관계 이해를 반영하도록 합니다.
어텐션 가중치 목적 함수 (Attention-Weighted Objective): 클러스터링 목적 함수는 어텐션 가중치가 적용된 클러스터 내 왜곡(distortion)을 최소화합니다. 어텐션 점수가 높은 토큰은 클러스터 중심점에 더 강한 끌림을 주어, 중요한 영역이 우선적으로 고려되도록 합니다.
K-means++ 초기화: 알고리즘은 어텐션 인지형 K-means++ 전략을 사용하여 중심점을 배치하며, 이를 통해 거리와 어텐션 점수를 모두 기반으로 특징 공간 전체에 중심점을 분산시킵니다.
허버 거리 (Huber Distance): 노이즈 유발 이상치에 대한 표준 제곱 오차 거리의 민감도를 상쇄하기 위해, 유클리드 거리를 허버 거리로 대체합니다. 이 손실 함수는 작은 잔차에 대해서는 이차 함수처럼 동작하여(조밀한 클러스터 형성 유지) 정밀함을 유지하고, 큰 잔차에 대해서는 선형적으로 동작하여(이상치가 중심점을 왜곡하는 것을 방지) 강인함을 확보합니다.

2. 강건한 잔차 수축 (Robust Residual Shrinkage, RRS)

선택만으로는 선택된 토큰들로부터 노이즈를 제거할 수 없습니다. RRS는 선택된 토큰들에 대해 단 한 번의 패스(one-pass)로 수행되는 디노이징 단계 역할을 합니다.

잔차 분석 (Residual Analysis): 클러스터 $c_j$ 내의 각 선택된 토큰 $v_i$ 에 대해, 토큰은 중심점과 잔차( $r_i = v_i - c_j$ )의 합으로 간주됩니다. 잔차는 대부분의 노이즈 분산을 포함한다고 가정됩니다.
적응형 수축 (Adaptive Shrinkage): 제임스-스타인 추정량(James-Stein estimator)에서 영감을 얻은 RRS는 토큰 벡터를 클러스터 중심점으로 수축시킵니다. 수축 계수 $\alpha_i$ 는 클러스터의 강건한 척도(중앙값 잔차 노름)와 토큰 고유의 잔차 노름 사이의 비율에 의해 결정되는 적응형 방식입니다.
의미론적 보존 (Preservation of Semantics): 업데이트 규칙 $\tilde{v}_i = \alpha_i v_i + (1 - \alpha_i) c_j$ 는 벡터의 방향 통계량을 보존하면서 분산을 줄이는 볼록 조합(convex combination)입니다. 이는 벡터를 재정규화하지 않고도 분산을 줄여 LLM이 기대하는 방향성을 유지합니다.
SigLIP을 위한 적응 (Adaptation for SigLIP): SigLIP 기반 모델(LLaVA-OneVision 등)을 위해, 저자들은 **노름 인식 돌출성 항(norm-aware salience term)**을 도입했습니다. SigLIP의 어텐션 맵은 CLIP보다 평탄하기 때문에, 특징 벡터의 크기(SigLIP에서 돌출성을 인코딩하는 요소)를 어텐션 점수에 결합하여 동적인 랭킹 신호를 복원합니다.

주요 기여

새로운 강건한 클러스터링 (C + H): 허버 거리를 사용하여 노이즈 유발 이상치에 강인하면서도 다양하고 돌출된 토큰 대표자를 선택하는 학습 불필요 방식의 어텐션 가중치 클러스터링 절차를 제안합니다.
강건한 잔차 수축 (RRS): 특징 공간에서 선택된 토큰의 노이즈 성분을 선택적으로 감쇠시켜 의미론적 방향을 보존하고 분포 변화를 피하는 가벼운 단일 패스 강화 기법입니다.
포괄적인 평가: ClustRS가 다양한 가우시안 및 솔트-앤-페퍼 오염 조건 하에서 MM-VET 및 ScienceQA-IMG 벤치마크에서 일관된 성능 향상을 달성함을 입증했습니다. 특히 극단적인 압축( $k=16$ 토큰) 및 높은 노이즈 상황에서 FasterVLM, DivPrune, VisionZip과 같은 기존의 학습 불필요 방식들을 능가했습니다.
배포 준비 완료: 전체 파이프라인은 학습이 필요 없으며 기존의 추론 최적화(예: KV-cache, flash-attention)와 호환되어 즉시 배포가 가능합니다. 또한 최소한의 수정만으로 새로운 SigLIP 기반 백본에도 적응할 수 있습니다.

실험 결과

실험은 LLaVA-1.5-7B (CLIP 기반) 및 LLaVA-OneVision (SigLIP 기반)을 대상으로 MM-VET (개방형 추론) 및 ScienceQA-IMG (객관식) 벤치마크를 통해 수행되었습니다.

극단적 압축 ( $k=16$ ): ClustRS는 극단적인 노이즈 조건에서 베이스라인 대비 최대 20% 높은 성능을 보였습니다. 깨끗한 MM-VET 이미지에서 0.271을 기록하여 FasterVLM(0.211)과 DivPrune(0.232)을 앞질렀습니다. 심각한 가우시안 노이즈( $\sigma=3.0$ ) 상황에서도 0.140의 점수를 유지하며 모든 베이스라인을 능가했습니다.
노이즈 강인성: ClustRS는 가우시안 및 솔트-앤-페퍼 노이즈의 밀도가 변함에 따라 일관되게 가장 높은 점수를 기록했으며, 특히 중복성이 최소화되는 낮은 토큰 수 환경에서 뛰어난 성능을 보였습니다.
SigLIP 적응: LLaVA-OneVision에서 노름 인식 적응을 통해 ClustRS는 16개의 토큰만으로 0.272의 깨끗한 정확도를 달성하여, FasterVLM(0.138)과 DivPrune(0.164)을 압도적으로 넘어섰습니다.
계산 오버헤드: 이 방법은 무시할 만한 수준의 계산 비용을 추가합니다 (A100 GPU 기준 $k=16$ 일 때 약 1ms 오버헤드). 이는 일반적인 응답 생성 시간의 1.6% 미만입니다.

의의 및 주장

본 논문은 ClustRS가 단순히 점수나 다양성에만 의존하는 기존의 프루닝 규칙에 대한 단순하면서도 강력한 대안을 제공한다고 주장합니다. 강건한 클러스터링과 잔차 수축을 결함함으로써, 이 방법은 계산 효율성과 노이즈 강인성 사이의 핵심적인 간극을 메웁니다.

저자들은 다음과 같은 점을 강조합니다:

재학습이 필요하지 않아 아키텍처 변경에 적응하기 쉽습니다.
깨끗한 데이터의 성능을 희생하지 않으면서도 다양한 오염(가법적 및 충격적 노이즈)에 대한 강인성을 개선합니다.
토큰 수를 대폭 감소(최대 97% 감소)시키면서도 정확도를 유지하거나 향상시킴으로써 에지 배포를 가능하게 합니다.

연구는 C+H와 같은 토큰 선택 방법이 강건한 표현을 제공하지만, 특징 공간 클러스터링에 의해 버려질 수 있는 공간적으로 구별되지만 의미론적으로 유사한 토큰들을 처리하기 위한 디노이징 전략을 정교화하는 방향으로 향후 연구의 가능성이 열려 있음을 시사하며 마무리됩니다.