🤖 AI

Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs

이 논문은 멀티 인코더 시각-언어 모델을 위한 포괄적인 재학습 기반 평가 프레임워크를 소개하며, 이는 기존의 마스킹 방식과는 인코더 순위가 다름을 밝히고, 최적의 인코더 쌍을 식별하기 위한 '용량-필요성(Capacity-Necessity)' 분해를 제안하며, 성능을 프리-프로젝터 유효 계수(pre-projector effective rank)와 연결함으로써 효율적인 멀티 인코더 설계를 위한 원칙적인 가이드라인을 제공한다.

원저자: Wei Ding, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wei Ding, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세상을 보고 그것에 대해 이야기할 수 있는 초지능 로봇을 만들고 있다고 상상해 보세요. 로봇에게 "눈"을 제공하기 위해, 당신에게는 다섯 가지 다른 유형의 카메라가 준비되어 있습니다:

ConvNeXt: 범용적인, 다재다목적 카메라.
EVA-02: 사물 인식에 뛰어난 하이엔드 카메라.
CLIP: 사진과 단어를 매칭하도록 훈련된 카메라.
Pix2Struct: 텍스트와 차트를 읽는 데 특화된 카메라.
SAM: 형태의 윤곽을 잡는 데 능숙한 카메라.

핵심적인 질문은 연구자들이 던진 것입니다: 만약 우리가 다섯 개의 카메라를 동시에 사용할 여력이 안 된다면, 최고의 성능을 내기 위해 어떤 것들을 골라야 할까요?

옛날 방식 vs 새로운 방식

이전에는 과학자들이 이미 다섯 개의 카메라를 모두 가진 로봇을 가져와서, 하나를 꺼버린 뒤 로봇의 성능이 얼마나 떨어지는지를 확인하려 했습니다. 그들은 "카메라 A를 껐을 때 로봇이 멍청해진다면, 카메라 A가 가장 중요한 것이다"라고 생각했습니다.

문제점: 이것은 스포츠 팀을 테스트할 때, 경기 도중에 특정 선수를 빼버리는 것과 같습니다. 남은 선수들이 당황하거나, 특정 인 없이 플레이하도록 훈련되지 않았기 때문에 팀 전략 자체가 무너질 수 있기 때문입니다.

새로운 방식 (이 논문): 저자들은 31개의 서로 다른 로봇을 처음부터 직접 만드는 방식을 택했습니다. 어떤 로봇은 카메라가 하나뿐이었고, 어떤 것은 두 개, 어떤 것은 세 개였으며, 그 이상인 경우도 있었습니다. 그들은 각 로봇을 독립적으로 훈련시켜 실제로 어떻게 작동하는지 확인했습니다. 이것은 기존 팀에서 선수를 빼는 것이 아니라, 현재 가진 선수들에 맞춰 새로운 팀을 구성하여 훈련시키는 것과 같습니다.

주요 발견 사항

1. "스타 플레이어"의 반전

그들이 로봇을 테스트했을 때, 충격적인 차이를 발견했습니다.

옛날 방식은 EVA-02가 최고의 단일 카메라라고 말했습니다.
새로운 방식은 ConvNeXt가 실제로는 최고의 단일 카메라라고 말했습니다.

결국, "최고의" 카메라는 당신이 로봇을 어떻게 훈련시키느냐에 따라 완전히 달라집니다. 카메라를 단독으로 봐서는 안 됩니다. 그 카메라가 팀의 일원으로 있을 때 어떻게 행동하는지를 봐야 합니다.

2. "두 머리" 전략

가장 놀라운 발견은 실제로 카메라가 몇 개나 필요한지에 관한 것이었습니다.

신화: "카메라는 많을수록 항상 좋다."
현실: 당신에게 정말 필요한 것은 두 개뿐입니다.

그들은 ConvNeXt와 CLIP만 있는 로봇이 다섯 개의 카메라를 모두 합친 로봇만큼이나 잘 작동한다는 것을 발견했습니다. 세 번째나 네 번째 카메라를 추가해도 점수는 거의 개선되지 않았습니다. 다섯 번째 카메라는 매우 구체적이고 복잡한 이미지의 미세한 디테일을 포착하는 등의 특수한 작업에서만 도움이 되었습니다.

최고의 조합:
당신은 아마도 가장 "강력한" 두 개의 카메라를 골라야 한다고 생각할 것입니다. 하지만 이 논문은 그것이 틀렸음을 보여주었습니다.

잘못된 조합: 두 개의 강력한 카메라 (ConvNeXt + EVA-02).
옳은 조합: 가장 강력한 카메라 (ConvNeXt) + "카멜레온" 카메라 (CLIP).

비유: ConvNeXt를 팀을 지탱하는 튼튼한 닻(Anchor)이라고 생각하고, CLIP을 닻에 맞춰 자신의 스타일을 바꾸는 유연한 팀원이라고 생각해보세요. 이 둘을 함께 두면, 그들은 혼자일 때보다 더 강해집니다. 하지만 두 개의 "닻"을 함께 붙여 놓으면, 서로 발을 밟게 될 뿐입니다.

3. "뇌 공간" 설명 (왜 작동하는가)

왜 ConvNeXt + CLIP 조합이 잘 작동할까요? 저자들은 카메라가 언어 부분과 소통하는 로봇의 "뇌 공간"(수학적으로 *유효 계수(effective rank)*라고 불림)을 살펴보았습니다.

닻 (ConvNeX): 다른 이들과 함께 일할 때도 자신만의 고유한 "목소리"를 유지합니다. 찌그러지지 않습니다.
카멜레온 (CLIP): ConvNeX와 함께 일할 때, 그 "목소리"는 오히려 더 커지고 복잡해집니다. 자신의 역량을 확장합니다.

최고의 팀은 한 명의 안정적인 멤버와, 그 멤버와 함께할 때 성장하는 유연한 파트너로 구성됩니다.

요점

만약 당신이 다중 카메라 AI 시스템을 설계하고 있다면:

단순히 개별적으로 "강한" 카메라를 고르지 마세요.
카메라를 추가한다고 해서 항상 도움이 될 것이라고 가정하지 마세요 (매우 빠르게 한계 효용 체감 지점에 도달합니다).
안정적인 닻(ConvNeX 같은)과, 닻과 결합했을 때 성장하는 유연한 파트너(CLIP 같은)를 찾으세요.

이 접근 방식은 다섯 개의 카메라 대신 두 개의 카메라만 사용함으로써, "슈퍼 로봇"만큼 똑똑하면서도(97% 수준) 비용과 컴퓨팅 자원을 절약할 수 있게 해줍니다.

기술 요약: 인코더 축적을 넘어서 (Beyond Encoder Accumulation)

문제 정의

대규모 시각-언어 모델(LVLM)이 다수의 이질적인 시각 스트림을 통합하기 위해 규모를 확장함에 따라, 다양한 인코더가 공동 학습(joint training) 하에서 어떻게 상호작용하는지 이해하는 것은 원칙적인 설계를 위해 매우 중요하다. 그러나 현재의 LVLM은 이러한 상호작용을 평가할 수 있는 견고한 도구가 부족하다. 고정된 체크포인트에 대한 추론 시 마스킹(Inference-time Masking, IM)과 같은 기존 방식은 다음과 같은 두 가지 주요 한계점을 갖는다:

학습-학습 불일치(Training-Training Mismatch): 추론 시에 브랜치를 마스킹하여 인코더의 역할을 평가하는 것은 실제 학습 파이프라인에서 벗어나므로, 인코더의 기여도에 대해 신뢰할 수 없는 결론을 도출하게 된다.
불완전한 전수 조사(Incomplete Enumeration): 기존의 어떤 방법도 가능한 모든 인코더 서브셋(subset)의 집합을 평가하지 않았으며, 이는 학습 전 파라미터 효율적인 구성을 식별하는 것을 어렵게 만든다.

결과적으로 설계자들은 어떤 인코더를 포함할지 결정할 때 어려움을 겪으며, 종종 공동 학습의 실제 최적화 경관(optimization landscape)을 반영하지 못하는 휴리스틱에 의존하게 된다.

방법론

저자들은 인코더의 역할을 재검토하기 위해 학습 시 제거(Training-time Removal, TR) 프로토콜을 제안한다. 다섯 개의 시각 인코더(ConvNeXt, EVA-02, CLIP, Pix2Struct, SAM)를 가진 Eagle-X5 아키텍처(Vicuna-7B 디코더 기반)를 테스트베드로 사용하여 다음을 수행한다:

다섯 개의 인코더로부터 생성되는 31개의 비어 있지 않은 모든 부분 집합을 통일된 파이프라인 하에서 처음부터 다시 학습시킨다.
이 31개의 모델을 16개 벤치마크인 Cambrian-1 스위트(General, Knowledge, OCR&Chart, Vision-Centric 태스크를 포함)로 평가한다.
이전 연구(Wang et al.)의 추론 시 마스킹(IM) 결과와 이 결과를 대조하여, 추론 시의 반사실적(counterfactual) 결과와 학습 시의 실재 사이의 불일치를 강조한다.
인코더의 기여도를 **용량(Capacity)**과 **필요성(Necessity)**이라는 두 축으로 분해한다.
각 인코더의 **프리-프로젝터 유효 랭크(pre-projector effective rank)**를 분석하여, 파라미터 수와 독립적인 표현 수준의 신호를 이해한다.

핵심 기여

1. 속성 프로토콜: 학습 시 제거(TR) vs. 추론 시 마스킹(IM)

본 연구는 IM과 TR이 체계적으로 다른 순위를 산출한다는 점을 입증한다.

순위 불일치: IM 하에서는 EVA-02가 1위를 차지하지만, TR(실제값) 하에서는 ConvNeXt가 1위를 차지한다.
안정성: TR은 대부분의 인코더에 대해 IM보다 낮은 교차 컨텍스트 분산을 보이며, 이는 서브셋을 재학습하는 것이 개별 기여도를 측정하는 데 더 안정적인 척도를 제공함을 시사한다.
설계 영향: 프로토콜의 선택은 실질적인 권장 사항을 변화시킨다. 예를 들어, IM 기반 휴리스틱은 ConvNeXt+EVA-02를 최적의 쌍으로 제안하지만, TR 기반의 최적 쌍은 CLIP+ConvNeXt이다.

2. 용량-필요성 분해 (Capacity–Necessity Decomposition)

저자들은 인코더의 역할을 구분하기 위해 두 축의 프레임워크를 도입한다:

용량(Capacity): 전체 풀(full pool) 대비 인코더 단독(singleton) 성능.
필요성(Necessity): 전체 풀에서 특정 인코더를 제거했을 때 발생하는 성능 저하(leave-one-out drop).
발견: 이 두 축은 서로 대체 가능하지 않다. 용량이 가장 높은 두 인코더를 쌍으로 묶는 것은 최적이 아니다. 대신, 최적의 전략은 유니버설 코어(Universal Core)(높은 용량, 높은 필요성)와 적응형 보완재(Adaptive Complement)(중간 정도의 용량, 낮은 필요성, 그러나 공동 학습 시 랭크가 확장됨)를 쌍으로 묶는 것이다.
분류 체계: 이 분해를 통해 다섯 가지 클래스의 분류 체계를 도출한다:
- 유니버설 코어(Universal Core): ConvNeXt (모든 계열에서 강력함).
- 적응형 보완재(Adaptive Complement): CLIP (공동 학습 시 랭크가 확장됨).
- 시각 중심 전문가(Vision-Centric Specialist): EVA-02.
- 니치 전문가(Niche Specialist): Pix2Struct (OCR&Chart).
- 교체 가능(Replaceable): SAM.

3. 표현 수준의 메커니즘: 유효 랭크 (Effective Rank)

고정된 파라미터 수에서 잔차 점수 변동은 프리-프로젝터 유효 랭크에 의해 설명된다.

세 가지 영역:
1. 단독(Singleton): 점수는 인코더 자체의 유효 랭크에 의해 예측된다.
2. 쌍(Pairs): 점수는 공동 학습 시 보완재의 랭크 변화( $\Delta$ rank)에 의해 예측된다. 최적의 쌍(CLIP+ConvNeXt)은 랭크가 온전히 유지되는 앵커(anchor)와 랭크가 확장되는 보완재를 결합한다.
3. 전체 풀(Full Pool): 점수는 인코더당 평균 랭크의 성장이 멈출 때 포화되며, 이는 공유된 프로젝터 예산 제약을 나타낸다.
시사점: 랭크가 높고 붕괴(collapse)되지 않은 프로젝터 입력은 인코더-프로젝터 인터페이스에서 더 유리한 최적화 환경을 의미한다.

결과

수익 체감(Diminishing Returns): 인코더를 추가할수록 수익은 급격히 감소한다. 잘 선택된 두 개의 인코더 모델(CLIP+ConvNeXt)은 전체 다섯 개 인코더 모델 점수의 **97%**를 회복한다. 세 번째와 네 번째 인코더의 기여는 미미하며, 다섯 번째 인코더만이 시각 중심 태스크에서 작은 차이를 회복한다.
최적의 쌍: 최적의 쌍은 용량이 가장 높은 두 인코더의 쌍(ConvNeXt + EVA-02)이 아니라 CLIP + ConvNeXt이다. 이 쌍은 단일 CLIP 인코더와 전체 풀 사이의 격차를 97%까지 메운다.
태스크별 포화:
- OCR&Chart 및 General 태스크는 두 개의 인코더에서 포화된다.
- Vision-Centric 태스크는 전체 다섯 개 인코더 풀까지 계속해서 이득을 얻는다.
- Knowledge 태스크는 LLM의 사전 지식(prior)에 의해 지배되어 시각 인코더의 기여도가 최소화된다.
랭크 vs. 파라미터: 파라미터 수는 거친 예측 변수일 뿐이다. 유사한 파라미터 수를 가진 인코더들(예: CLIP, EVA-02, SAM)은 유효 랭크와 단독 점수에서 넓은 변동을 보인다. 유효 랭크가 표현 품질에 대한 더 정밀한 기술자이다.

의의 및 주장

본 논문은 다중 인코더 LVLM 설계에서 고정된 체크포인트 근사치(IM)에 의존하는 방식과 학습 시의 반사실적(TR) 방식 사이의 방법론적 간극을 폭로한다고 주장한다.

실질적 가이드: 본 연구는 컴팩트 풀(compact-pool) 설계를 위한 구체적인 원칙을 제공한다: 단순히 가장 강한 개별 인코더를 선택하는 것이 아니라, 높은 용량을 가진 앵커와 공동 학습 시 랭크가 확장되는 적응형 보환재를 선택하라.
증류(Distillation)에 대한 시사점: 연구 결과는 "교체 가능한(Replaceable)" 인코더를 증류하는 것은 위험이 낮지만, "적응형 보완재(Adaptive Complement)"를 증류하는 것은 어렵다는 것을 시사한다. 왜냐하면 그 기여도는 고정된 학생 모델이 재현할 수 없는 동적인 인코더-프로젝터 상호작용(랭크 확장)에 의존하기 때문이다.
미래의 관련성: 세계 모델링(world modeling) 및 물리적 AI를 위해 이질적인 스트림을 융합하는 파운데이션 모델이 발전함에 따라, 저자들은 전체 전수 조사 재학습이 불가능해질 것이라고 주장한다. 제안된 용량-필요성 분해 및 랭크 분석은 프리-프로젝터 기하학을 기반으로 한 경량 대리 모델(surrogates)을 통해 최소한의 재학습으로 이러한 특성을 추정할 수 있는 프레임워크를 제공한다.

저자들은 "랭크가 확장되는 보완재를 가진 앵커"라는 휴리스틱이 Eagle-X5 풀에 대한 기술적 설명이며, 미지의 풀에 대한 일반적인 규칙으로서 추가적인 검증이 필요하다는 점을 언급하며 겸허한 태도를 유지한다.