💻 computer science

OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

OmniPack는 LLM 이전의 구조적 중복 제거와 상호작용 이후의 의미론적 정제 기법을 결합하여 옴니모달 거대 언어 모델의 효율성을 향상시키는 학습이 필요 없는 프레임워크로, 여러 벤치마크에서 우수한 성능-효율성 트레이드오프를 달성하는 동시에 계산 비용을 크게 절감합니다.

원저자: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wanshun Su, Yang Shi, Feihu Liu, Ziwen Yu, Yan Min, Zhuoran Zhang, Qixun Wang, Haotian Wang, Shixuan Liu, Yuanxing Zhang, Peng Wu, Chengfu Huo, Liang Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 단순히 책 한 권을 읽게 하는 것이 아니라, 영화를 보여주면서 동시에 사운드트랙을 들려주는 것입니다. 이것이 바로 컴퓨터가 보고, 듣고, 읽는 것을 동시에 학습하는 '옴니모달(Omni-modal)' AI의 흥미로운 세계입니다. 하지만 여기 문제가 있습니다. 영화와 사운드트랙은 매우 방대합니다. 비디오나 오디오의 단 1초도 '토큰'이라 불리는 수천 개의 작은 디지털 '벽돌'로 나눌 수 있습니다. 만약 로봇에게 영화 전체를 통째로 먹이려 한다면, 로봇은 마치 1분 안에 도서관 전체를 읽으려는 학생처럼 압도당하고 말 것입니다. 이를 처리하는 데는 엄청난 시간이 걸리고, 막대한 전기 비용이 들며, 정보의 양에 압도되어 종종 혼란에 빠지기도 합니다. 과학자들은 로봇이 읽기 시작하기 전에 '지루한' 벽돌들을 미리 버림으로써 이 문제를 해결하려 노력해 왔으며, 중요한 것들만 남기기를 희ק했습니다. 하지만 기존의 방식들은 다소 투박했습니다. 어떤 방식들은 단순히 이웃한 것들과 다르게 생겼다는 이유만으로 중요한 단서를 버리기도 했고, 로봇이 실제로 이야기를 이해할 기회를 갖기도 전에 무엇이 중요한지 미리 짐작해 버리기도 했습니다.

여기, 이 모든 것을 보고 듣는 로봇들이 정신을 잃지 않고 더 빠르게 작동할 수 있도록 설계된 영리한 전략인 OmniPack이 등장합니다. OmniPack을 혼란스러운 영화 대본을 편집하는 두 단계의 과정이라고 생각해 보세요. 첫째, 로봇이 대본을 읽기 전, OmniPack은 엄격한 편집자처럼 원본 영상을 스캔합니다. 단순히 조용한 부분을 삭제하는 것이 아니라, '큰 소리'가 나는 순간(갑작스러운 충돌음이나 밝은 섬광 등)을 찾아내고, 또한 시간상 멀리 떨어져 있는 조용하지만 중요한 배경 풍경을 놓치지 않도록 합니다. 유사한 벽돌들을 하나로 묶어 불필요한 공간을 차지하지 않게 함으로써, 이야기의 구조를 온전히 유지하는 '하이라이트 영상'을 만들어냅니다.

하지만 진짜 마법은 두 번째 단계에서 일어납니다. 로봇이 대본을 읽으며 스스로에게 말을 걸기 시작하면, OmniPack이 다시 개입합니다. 만약 로봇이 "자동차 색깔이 무엇이었나요?"라고 묻는다면, OmniPack은 설령 그 부분이 조용했거나 작았더라도 자동차와 색상에 관련된 토큰들을 유지해야 한다는 것을 알고 있습니다. OmniPack은 로봇의 호기심을 이용해 정보를 정교하게 다듬고, 가장 유용한 세부 사항들을 하나로 합칩니다. 그 결과, 로봇이 해야 할 작업량이 대폭 줄어듭니다. 특정 모델인 Qwen2.5-Omni-7B를 대상으로 했을 때, OmniPack은 로봇의 원래 지능을 98.0% 유지하면서도 필요한 작업량을 원래 양의 단 **16.7%**로 줄였습니다. 심지어 한계까지 밀어붙여 작업량을 고작 **6.8%**로 줄였을 때도, 로봇은 알아야 할 내용의 **92.9%**를 여전히 기억해 냈습니다. 이는 거대한 백과사전을 단 한 권의 팸플릿으로 줄였음에도 불구하고, 그 팸플릿에 여전히 필요한 모든 답이 들어 있는 것과 같습니다.

연구진은 기존 방식들이 왜 실패했는지 찾아냈습니다. 기존 방식들은 너무 일찍, 혹은 너무 단순하게 모든 것을 압축하려고 했기 때문입니다. 그들은 단순히 '크기'나 '유사성'만을 기준으로 토큰을 버리는 방식이 흩어져 있는 중요한 단서들을 놓칠 수 있다고 주장했습니다. 또한, 로보가 두 감각을 섞기 전에 오디오를 사용해 비디오를 압축하거나 그 반대로 하는 방식은 효과적이지 않다는 점도 보여주었습니다. 대신, OmniPack은 '단계별 특화(stage-specialized)' 접근 방식을 제안합니다. 즉, 먼저 각 미디어 유형(비디오 또는 오디오)에 따라 구조를 정리한 다음, 로봇이 두 감각을 혼합할 기회를 가진 후에, 특정 과업이나 질문을 사용하여 최종적인 스마트 압축을 수행하는 것입니다.

다섯 가지의 서로 다른 도전 과제 세트에 걸친 테스트에서, OmniPack은 비교 대상이었던 모든 다른 방법들을 일관되게 앞질렀습니다. 짧은 클립을 테스트하든 긴 영상을 테스트하든, 이 새로운 방식은 항상 속도와 지능 사이에서 최상의 균형을 보여주었습니다. 저자들은 이 두 단계를 조율함으로써—즉, 구조적 정리 후 질문 기반의 스마트한 정교화 과정을 통해—기존 모델을 처음부터 다시 학습시키지 않고도 훨씬 더 효율적으로 만들 수 있다고 제안합니다. 이는 강력한 AI 모델들을 더 빠르고 저렴하게 운영할 수 있게 하여, 정보의 홍수가 몰아치는 상황에서도 모델이 예리함을 유지할 수 있게 하는 방법입니다.

기술 요약: OmniPack

문제 정의
옴니모달 대규모 언어 모델(Omni-LLMs)은 텍스트, 이미지, 비디오, 오디오를 결합하여 모델링함으로써 통합된 시청각 이해 측면에서 상당한 성공을 거두었습니다. 그러나 시각 및 오디오 입력을 위한 조밀한 토큰화는 텍스트보다 훨씬 긴 시퀀스를 생성하여, 추론 과정에서 과도한 계산 및 메모리 오버헤드를 초래합니다. 토큰 압축은 효율적인 배포를 위해 필수적이지만, 기존 방식들은 공격적인 토큰 예산 하에서 다음과 같은 결정적인 한계에 직면합니다:

부적절한 구조적 모델링: LLM 이전 단계의 압축 방식은 종종 국소적인 중요성이나 유사성에 의존하며, 장기적인 시공간적 구조를 포착하는 데 실패합니다. 이는 긴 비디오의 희소한 이벤트나 일시적인 음향 신호와 같이 전역적으로 분포된 증거의 손실로 이어집니다.
불충분한 교차 모달 협업: 기존 접근 방식은 LLM 이전 단계에서 압축하거나(이 경우 오디오와 시각 표현 간의 의미적 상호작용이 제한됨), LLM 내부에서 압축합니다(주로 명시적인 오디오-시각 협업 없이 텍스트 가이드에만 의존함). 결과적으로, 이들은 작업 관련 교차 모달 증거를 충분히 활용하지 못합니다.

방법론: OmniPack
저자들은 LLM 이전의 구조적 압축과 LLM 내부의 의미적 정교화를 조율하도록 설계된, 훈련이 필요 없는(training-free) 2단계 점진적 프레임워크인 OmniPack을 제안합니다.

1. 모달리티 특화 Pre-LLM 압축
LLM 이전에 작동하는 이 단계는 핵심 증거와 전역적 커버리지를 보존하면서 구조적 중복성을 제거합니다. 이는 세 가지 뚜렷한 메커니즘을 사용합니다:

중요도 선택 (Importance Selection): 인코더 어텐션 통계와 모달리티별 구조적 단서를 사용하여 지배적인 토큰을 식별합니다. 비디오의 경우 인접 프레임 변화 및 공간적 독특성이 포함되며, 오디오의 경우 음향 경계를 감지하기 위한 인접 토큰 변화가 포함됩니다.
커버리지 선택 (Coverage Selection): 돌출된 영역에만 과도하게 집중되는 것을 방지하기 위해, 이 단계는 특징 유사성과 정규화된 시간/시공간 거리를 결합한 결합 거리 메트릭을 사용하여 추가적인 대표 토인들을 선택합니다. 이는 광범위한 시공간적 커버리지를 보장하기 위해 DPC-KNN을 활용합니다.
유사도 인식 토큰 병합 (Similarity-Aware Token Merging): 선택되지 않은 토큰을 단순히 버리는 대신, 그 정보를 유지된 대표 토큰으로 집계합니다. 선택되지 않은 토큰은 특징 유사성, 위치적 근접성, 그리고 대상 토큰의 중요성을 기반으로 가장 유사한 유지 토큰에 할당되어, 중복된 정보를 유지된 세트로 효과적으로 전달합니다.

2. 쿼리 조건부 Inner-LLM 압축
첫 $\ell$ 개의 트랜스포머 블록 내에서 충분한 멀티모달 상호작용이 발생한 후, 두 번째 압축 단계가 유지된 표현을 정교화합니다. 이 단계는 다음을 활용합니다:

텍스트 가이드 (Textual Guidance): 텍스트 은닉 상태(hidden states)에서 유도된 전역 쿼리 표현이 작업 관련 토큰의 선택을 가이드합니다.
오디오-시각 협업 (Audio-Visual Collaboration): 토큰의 관련성 점수는 텍스트 쿼리와의 유사성, 다른 모달리티의 프로토타입과의 유사성(예: 오디오 컨텍스트를 고려하는 시각 토큰), 그리고 모달리티 내의 대표성을 고려하여 계산됩니다.
다양성 인식 선택 (Diversity-Aware Selection): 관련성과 의미적 다양성의 균형을 맞추기 위해 토큰을 반복적으로 선택하여, 유지된 세트가 필요한 정보 스펙트럼을 커버하도록 보장합니다.
관련성 변조 병합 (Relevance-Modulated Merging): 선택되지 않은 은닉 상태는 관련성 점수에 의해 변조된 유사도 가중 평균을 통해 유지된 대표 토큰에 통합됩니다.

주요 기여

한계 식별: 본 논문은 기존 Omni-LLM 압축이 부적절한 장거리 구조 모델링과 쿼리 조건부 교차 모달 증거의 불충분한 활용으로 인해 공격적인 예산 하에서 실패한다는 점을 강조합니다.
통합 프레임워크: OmniPack은 모달리티 특화 Pre-LLM 압축(구조적)과 쿼리 조건부 Inner-LLM 압축(의미적)을 결합하고, 제거된 정보를 유지된 대표 토큰에 병합하여 정보 손실을 최소화하는 훈련이 필요 없는 점진적 전략을 도입합니다.
성능-효율성 트레이드오프: 이 프레임워크는 높은 멀티모달 이해 성능을 유지하면서 공격적인 토큰 압축을 가능하게 하도록 설계되었습니다.

실험 결과
세 가지 Omni-LLM 백본(Qwen2.5-Omni-3B/7B 및 MiniCPM-o-2.6)을 사용하여 다섯 가지 벤치마크(AVUT, WorldSense, DailyOmni, VideoMME, LVOmniBench)에서 광범위한 실험을 수행했습니다.

성능: Qwen2.5-Omni-7B에서 OmniPack은 원래 성능의 **98.0%**를 보존하면서 FLOPs를 **16.7%**로 줄였습니다. 극단적인 압축(원래 FLOPs의 6.8%만 유지) 상황에서도 원래 성능의 **92.9%**를 유지했습니다.
비교: OmniPack은 다양한 유지 비율에 걸쳐 다양한 훈련이 필요 없는 최신(SOTA) 베이스라인(FastV-om, VisionZip-om, OmniZip, OmniSIFT, SEATS 변형 포함)을 일관되게 능가합니다.
효율성: 15%/7.5% 유지 비율(pre-LLM/최종)에서 OmniPack은 원래 성능의 95.6%를 유지하면서 10.0배의 FL로프(FLOPs) 감소와 4.5배의 프리필(prefill) 속도 향상을 달면합니다.
절제 연구 (Ablation): 중요도 선택, 커버리지 선택, 토큰 병합의 조합이 최상의 Pre-LLM 결과를 낸다는 것을 확인했습니다. 또한, Inner-LLM 압축은 독립적이거나 일반적인 전략에 비해 오디오-시각 협업 및 텍스트 인식 가이드로부터 크게 이득을 얻습니다.

의의
본 논문은 OmniPack이 모델 재학습 없이 Omni-LLM의 계산 오버헤드라는 결정적인 병목 현상을 해결한다고 주장합니다. 압축을 순수 구조적 단서에서 작업 조건부 의미론으로 전환함으로써, 이 프레임워크는 조율된 2단계 프로세스를 통해 자원이 제한된 장치에서의 실질적인 Omni-LLM 배포를 가능하게 합니다. 결과는 공격적인 토큰 압축이 복잡하고 역동적이며 시간적으로 진화하는 실제 환경을 이해하는 모델의 능력을 희생시키지 않으면서도 달성될 수 있음을 보여주며, 이 분야에서 새로운 최첨단 성능-효율성 트레이드오프를 확립합니다.

기술 요약: OmniPack

유사한 논문