🤖 AI

OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs

OmniMem은 양식 인식 할당 전략과 섭동 인식 메모리 선택을 채택하여 엄격한 메모리 예산 하에서 정확도를 크게 향상시킴으로써 긴 비디오 추론의 한계를 극복하는 오디오-비주얼 LLM을 위한 메모리 효율적인 스트리밍 프레임워크입니다.

원저자: Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guangzhi Sun, Yixuan Li, Yudong Yang, Chao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 작은 스마트폰으로 3시간짜리 영화를 보려고 한다고 상상해 보세요. 그런데 이 스마트폰은 저장 공간이 매우 제한적입니다. 영화가 재생되는 동안, 당신의 휴대폰은 모든 프레임과 모든 대사를 기억하려고 노력합니다. 결국 휴대폰은 메모리가 부족해져서 화면이 멈추거나, 새로운 장면을 위한 공간을 만들기 위해 무언가를 무작위로 삭제해야 하는 상황에 처합니다. 이것이 바로 현대의 "오디오-비주얼 거대 언어 모델(영상을 보고 소리를 듣는 AI)"이 긴 영상을 이해하려고 할 때 직면하는 문제입니다.

이 논문은 이 문제를 해결하기 위해 OmniMem이라는 새로운 시스템을 소개합니다. OmniMem을 AI의 기억력을 위한 매우 똑똑하고 체계적인 사서라고 생각하면 됩니다.

작동 원리는 다음과 같습니다.

1. 문제점: "일률적인 방식(One-Size-Fits-All)"의 실수

현재의 AI 시스템은 비디오(보는 것)와 오디오(듣는 것)를 메모리에 저장할 때 완전히 동일하게 취급합니다.

불균형: 일반적인 영상에는 수천 개의 시각적 "토큰"(이미지 데이터의 아주 작은 조각들)이 있지만, 오디오 토큰(단어나 소리)은 단 몇 개뿐입니다.
결함: 표준적인 메모리 제한을 사용하면, AI는 정적인 배경과 같은 중복된 시각적 세부 사항을 수천 개씩 쌓아두는 동안, 결정적인 오디오 단서(예: "뒤를 봐!"라고 말하는 캐릭터의 목소리)를 실수로 버리게 됩니다. 이는 마치 배낭에 똑같이 생긴 돌멩이 100개를 채워 넣느라 정작 중요한 지도 한 장을 넣을 공간을 놓치는 것과 같습니다.

2. 해결책: OmniMem의 두 갈래 전략

OmniMem은 **별도의 주머니(Separate Pockets)**와 **스마트한 선택(Smart Selection)**이라는 두 가지 기술을 사용하여 이 문제를 해결합니다.

기술 A: 별도의 주머니 (오디오-비주얼 예산 할당)

OmniMem은 하나의 커다란 메모리 통을 사용하는 대신, AI에게 시각용과 오디오용이라는 두 개의 별도 주머니를 줍니다.

비유: 복잡한 요리를 하는 요리사를 상상해 보세요. 그들은 모든 재료를 하나의 큰 솥에 그냥 던져 넣지 않습니다. 향신료는 작고 귀한 병에 담고, 채소는 커다란 통에 담아 따로 보관합니다.
작동 방식: OmniMem은 오디오는 희귀하지만 가치 있고, 비주얼은 풍부하지만 반복적이라는 점을 인식합니다. 따라서 오디오 "주머니"에 특정하고 공정한 양의 메모리를 할당하여, 너무 많은 그림 때문에 중요한 말소리가 삭제되지 않도록 합니다.

기술 B: 스마트한 선택 (섭동 인식 메모리)

AI가 메모리 주머니를 갖춘 후에는, 영상이 재생되는 동안 무엇을 유지하고 무엇을 버릴지 결정해야 합니다. 기존 방식은 단순히 두 요소가 얼마나 유사한지만을 따졌습니다(예: "이 두 프레임은 비슷하게 생겼으니 하나를 삭제하자").

기존 방식의 결함: 두 프레임이 비슷해 보인다고 해서 중요하지 않은 것은 아닙니다. 어쩌면 그 "지루한" 프레임 안에 AI가 나중에 필요로 할 미묘한 단서가 들어있을 수도 있습니다.
OmniMem의 접근법: OmniMem은 "만약에?"라는 질문을 던집니다. 메모리의 한 부분을 삭제하는 상황을 시뮬레이션한 뒤 이렇게 묻습니다: "만약 내가 이것을 삭제한다면, AI의 답변이 바뀔까?"
- 만약 토큰을 삭제했을 때 AI가 혼란에 빠지거나 생각을 바꾼다면, OmniMem은 그것을 유지합니다.
- 만약 토큰을 삭제해도 아무런 변화가 없다면, OmniMem은 그것을 버립니다.
비유: 이것은 영화 편집과 같습니다. 실력이 부족한 편집자는 장면의 길이에 따라 컷을 나누지만, OmniMem은 스마트한 편집자처럼 그 장면이 없어도 이야기가 여전히 말이 되는지를 기준으로 컷을 나눕니다. 즉, "복도를 걷는 긴 장면"은 삭제하더라도, "반전이 일어나는 장면"은 반드시 남겨둡니다.

3. "학습" 보너스

논문은 또한 AI에게 이러한 새로운 메모리 규칙을 구체적으로 가르칠 때(이 과정을 "파인튜닝"이라고 합니다) 성능이 더욱 좋아진다고 언급합니다.

비유: AI에게 새로운 규칙을 주는 것은 학생에게 새로운 학습 가이드를 주는 것과 같습니다. 그 후 이 규칙을 사용하여 연습 테스트를 치르게 하면, 학생은 자신의 노트를 훨씬 더 효율적으로 정리하는 법을 배우게 되어, 제한된 공간에서 훨씬 더 많은 가치를 뽑아낼 수 있게 됩니다.

결과

연구진은 여러 가지 긴 영상 벤치마크(VideoMME 및 LVBench 등)를 통해 OmniMem을 테스트했습니다.

결과: 추가 학습 없이도 OmniMem은 기존의 최고 방법들보다 2~4% 더 높은 정확도를 보였습니다.
학습 시: 새로운 메모리 규칙을 사용하도록 AI를 학습시킨 후에는, 1~2%의 정확도가 추가로 향상되었습니다.
효율성: 이 모든 과정은 AI의 속도를 늦추거나 컴퓨터 자원을 눈에 띄게 더 많이 사용하지 않고도 이루어졌습니다.

요-약

OmniMem은 AI가 뇌 용량 부족 문제 없이 긴 영상을 시청할 수 있게 해주는 새로운 방식입니다. 이는 오디오와 비디오를 동일하게 취급하는 것을 멈추고, 각각의 전용 메모리 공간을 부여하며, AI가 놓치지 않을 것이라고 확신하는 정보만을 삭제하도록 합니다. 그 결과, AI는 이전보다 훨씬 더 정확하게 긴 영상 콘텐츠를 이해할 수 있게 되었습니다.

기술 요약: OmniMem

문제 정의

오디오-비주얼 거대 언어 모델(av-LLM)은 긴 형태의 비디오 이해에 있어 상당한 가능성을 보여주지만, 스트리밍 추론 과정에서 근본적인 병목 현상에 직면해 있습니다: 바로 비디오 토큰과 Key-Value(KV) 캐시의 선형적 증가입니다. 비디오 길이가 길어짐에 따라(예: 1시간 길이의 비디오), 메모리 요구 사항은 빠르게 GPU 한계를 초과하게 됩니다. 청크 단위 스트리밍 처리(chunked streaming processing)가 실용적인 해결책으로 등장했음에도 불구하고, 기존의 압축 방법들은 두 가지 주요한 한계점을 가집니다:

균일한 토큰 처리 (Uniform Token Treatment): 기존 방식들은 오디오와 비주얼 토큰 모두에 대해 통일된 토큰 선택 지표(예: 코사인 유사도 또는 일반적인 프록시 쿼리 어텐션)를 적용하는 경우가 많습니다. 이는 모달리티 간의 심각한 토큰 불균형(비주얼 토큰이 오디오 토큰보다 보통 30~40배 더 많음)을 고려하지 못하며, 이로 인해 중요한 오디오 정보가 체계적으로 과소 평가되거나 버려지는 결과를 초래합니다.
최적화되지 않은 선택 기준 (Suboptimal Selection Criteria): 기존의 스트리밍 방식들은 토큰 제거로 인한 실제 섭동(perturbation)을 정확히 반영하지 못할 수 있는 "일반적인 프록시 쿼리"(모델의 계산 그래프 외부의 것)에 의존하여 토큰 중요도를 추정합니다. 이러한 점수는 일반적인 프록시에서는 높은 점수를 받지 못하더라도 모델의 특정 출력에 결정적인 역할을 하는 정보성 상태(informative states)를 제거하게 만들 위험이 있습니다.

방법론

저자들은 이러한 한계점을 해결하기 위해 설계된 메모리 효율적이고, 섭동을 고려하며, 모달리티를 인식하는 스트리밍 프레임워크인 OmniMem을 제안합니다. 이 워크플로우는 비디오를 청크 단위로 처리하며, 오디오와 비주얼 토큰을 위한 별도의 KV 캐시를 유지합니다.

1. 섭동 인식형 KV 캐시 선택 (Perturbation-Aware KV Cache Selection)

외부 프록시 쿼리를 사용하는 대신, OmniMem은 토큰 제거 후 어텐션 출력의 왜곡을 최소화하는 기준에 따라 유지할 KV 쌍을 선택합니다. 토큰 $k$ 에 대한 선택 점수( $\psi_k$ )는 두 가지 요소를 결합합니다:

중요도 (Attention Score): 이후의 쿼리들로부터 해당 토큰으로 향하는 누적 어텐션 질량( $a_k$ ). 값이 높을수록 다음 레이어에서 해당 토큰이 빈번하게 사용됨을 의미합니다.
중복성 (Cosine Similarity): 토큰의 은닉 상태(hidden state)와 인접한 위치 사이의 코사인 유사도( $s_k$ ). 유사도가 높을수록 중복성이 높음을 의미합니다.

선택 점수는 다음과 같이 계산됩니다:
$\psi_k = a_k^\lambda (1 - s_k)$
여기서 $\lambda$ 는 정규화 계수입니다. 이 곱셈 결합 방식은 시스템이 자주 사용되면서도(높은 중요도) 주변과 중복되지 않는(낮은 유사도) 토큰을 유지하도록 보장합니다. 과도한 오버헤드 없이 유사도를 계산하기 위해, 이 방법은 전체 KV 캐시 대신 은닉 상태(또는 Value 벡터)를 활용합니다.

2. 오디오-비주얼 예산 할당 (Audio-Visual Budget Allocation, AVBA)

모달리티 불균형 문제를 해결하기 위해, OmniMem은 균일한 글로벌 예산을 적용하는 대신 오디오와 비주얼 KV 캐시에 대한 별도의 메모리 예산을 할당하는 AVBA 메커니즘을 도입합니다.

압축성 지표 (Compressibility Metrics): 시스템은 정규화된 어텐션 엔트로피와 평균 코사인 유사도를 사용하여 각 모달리티의 압축성 점수( $C$ )를 계산합니다.
동적 비율 (Dynamic Ratio): 사전 비주얼 대 오디오 토큰 비율( $r$ , 논문에서는 5로 설정)이 설정됩니다. 실제 예산 가중치( $w_v, w_a$ )는 오디오와 비주얼 스트림의 상대적 압축성 점수에 따라 조정됩니다. 이를 통해 토큰 수가 적더라도 압축성이 낮은 모달리티(예: 인간의 음성 같은 오디오)가 충분한 메모리 할당을 받을 수 있도록 보장합니다.
레이어별 할당 (Layer-wise Allocation): 총 예산은 레이어별 압축성에 따라 트랜스포머 레이어 전반에 걸쳐 비균등하게 배분되며, 일반적으로 초기 레이어가 더 큰 예산을 받습니다.

3. 예산 인식 미세 조정 (Budget-Aware Fine-Tuning)

OmniMem은 훈련이 필요 없는(training-free) 방식으로 작동하지만, 저자들은 할당된 예산 체계를 활용한 지도 미세 조정(SFT)을 탐구합니다. 이 과정에서 모델은 유지되는 메모리 토큰에 유용한 정보를 응축하도록 학습됩니다. 긴 시퀀스에 대한 계산 비용을 관리하기 위해, 역전파(back-propagation)는 마지막 $L-l$ 레이어까지 절단되면서도 최종 청크의 모든 레이어를 통한 그래디언트 흐름은 보장됩니다.

주요 기여

논문은 다음과 같이 기여를 요약합니다:

OmniMem 프레임워크: 토큰 제거 후 출력 왜곡을 최소화하기 위해 어텐션 기반 중요도와 코사인 유사도 기반 중복성을 결합한 섭동 인식 및 모달리티 인식 KV 캐시 선택 메커니즘.
AVBA 메커니즘: av-LLM을 위한 최초의 오디오-비주얼 예산 할당 메커니즘으로, 모달리티 표현의 차이를 해결하고 토큰 수 불균형으로 인해 오디오 토큰이 소외되는 것을 방지함.
성능 향상: 일반적인 프록시 쿼리 및 코사인 유사도 베이스라인 대비 일관된 정확도 향상을 입증하였으며, 예산 인식 미세 조정을 통해 추가적인 이득을 달별함.

실험 결과

실험은 video-SALMONN 2+ (4B 및 8B 파라미터)와 Qwen2.5-Omni (7B 파라미터)를 사용하여 VideoMME Long, LVBench, LVOmniBench에서 수행되었습니다.

훈련 불필요 성능 (Training-Free Performance): 동일한 메모리 예산(예: 레이어당 8K KV 쌍) 하에서, OmniMem은 강력한 베이스라인들(InfiniPot-V, StreamMem, HERMES)보다 절대 정확도 측면에서 2~4% 일관되게 높은 성능을 보였습니다.
- video-SALMONN 2+ (8B) 기준으로, OmniMem은 최상의 베이스라인인 HERMES와 비교했을 때 VideoMME Long에서 4.5%, LVBench에서 3.0%, LV-OmniBench에서 2.2%의 개선을 달성했습니다.
- 특히 오디오-비주얼의 균형이 중요한 StreamingBench의 "Omni-source" 파티션에서 개선 효과가 두드러졌습니다.
미세 조정 이득 (Fine-Tuning Gains): 예산 인식 미세 조정을 적용했을 때 추가로 **1~2%**의 절대 정확도 향상이 나타났습니다. 가장 큰 이득은 LVBench에서 관찰되었으며(4B 모델의 경우 최대 4.1%), 이는 모델이 긴 비디오를 위해 고정된 메모리 예산을 더 효과적으로 활용하는 법을 학습함을 시사합니다.
효율성: 유사도 계산을 위한 은닉 상태 유지로 인해 런타임 메모리 오버헤드는 매우 낮았습니다 (H800 GPU 기준 <1GB). 첫 번째 토큰 지연 시간(first-token latency)은 베이스라인과 유사한 수준(~0.2초)을 유지했습니다.

의의 및 주장

본 논문은 OmniMem을 단순한 휴리스틱 토큰 점수 산출을 넘어, 토큰 제거가 모델 출력에 미치는 영향을 명시적으로 최적화하는 원칙적인 접근 방식으로 진화시킨, 스트리밍 av-LLM을 위한 필수적인 단계로 규정합니다.

모달리티 인식: 저자들은 오디오와 비주얼 토큰을 균일하게 취급하는 것이 현재 스트리밍 방식의 근본적인 결함이라고 주장합니다. AVBA를 도입함으로써, 빈도는 낮지만 정보 밀도가 높은 오디오 모달리티의 무결성을 보존하는 것이 장기적 이해에 핵심적임을 입증했습니다.
섭동 인식: 일반적인 프록시 쿼리에서 섭동 인식형 선택(출력 왜곡 최소화)으로의 전환이 토큰 중요도를 결정하는 데 있어 더 견고한 기준임을 제시합니다.
실제적 배포: 이 방법은 예산 결정을 위한 사용자 프롬프트가 필요하지 않도록 설계되었으며, 1시간 길이의 비디오에 대해서도 엄격한 메모리 제한 내에서 효과적으로 작동합니다.

저자들은 Omni-Mem이 유사도 계산을 위한 약간의 메모리 오버헤드를 발생시키지만, 그 대가로 일관되고 유의미한 정확도 향상을 얻을 수 있으며, 이를 통해 메모리가 제한된 긴 형태의 오디오-비주얼 추론을 위한 새로운 표준을 세웠다고 결론짓습니다.