🤖 AI

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

이 논문은 멀티모달 증거를 단일 잠재 토큰으로 압축하여 검색 및 생성을 수행함으로써, 텍스트 전용 및 멀티모달 벤치마크 전반에서 경쟁력 있는 질의응답 성능을 유지하면서도 토큰 소비와 저장 비용을 크게 줄이는 자원 효율적인 패러다임인 Latent Memory를 소개한다.

원저자: Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "무거운 여행 가방"

당신이 아주 똑똑한 탐정(AI)이라고 상상해 보세요. 미스터리를 풀기 위해 당신은 방대한 단서의 도서관(텍스트 기사와 사진)을 읽어야 합니다.

현재의 방식(기존 RAG 시스템)에서는, 새로운 질문이 들어올 때마다 사서가 당신에게 전체 원본 도서관을 통째로 건네줍니다.

단서가 긴 기사라면, 당신은 모든 단어를 하나하나 다 읽어야 합니다.
단서가 사진이라면, 사서는 단순히 사진을 주는 것이 아니라, 당신이 "볼 수 있도록" 수천 단어에 걸쳐 모든 픽셀을 설명해 줍니다.

결과: 당신은 압도당하게 됩니다. 설령 그 안에서 아주 작은 사실 하나만 필요하더라도, 압축되지 않은 무거운 데이터가 가득 담긴 무거운 여행 가방을 들고 다니느라 에너지(저장 공간)와 시간(처리 속도)을 모두 써버리게 됩니다. 이 때문에 스마트폰이나 엣지 컴퓨터 같은 작은 기기에서는 사용이 불가능해집니다.

해결책: "마법의 요약 카드" (잠재 메모리/Latent Memory)

저자들은 **잠재 메모리(Latent Memory)**라는 새로운 시스템을 제안합니다. 무거운 원본 여행 가방을 건네주는 대신, 모든 종류의 증거(텍스트 단락이든 사진이든)를 단 하나의 작고 마법 같은 요약 카드로 압축합니다.

이렇게 생각해보세요:

기존 방식: 문장 하나를 찾기 위해 500페이지짜리 책을 들고 다닙니다.
새로운 방식: 그 책의 *정수(essence)*가 담긴 인덱스 카드 한 장을 들고 다닙니다.

작동 원리: 3단계 프로세스

1. 압축 스테이션 (The "Translator" - 번역가)
AI가 단서를 보기 전에, 작고 특화된 조수(압축 모델)가 모든 증거를 살펴봅니다.

이 조수는 텍스트를 읽거나 사진을 봅니다.
그리고 전체 의미를 단 하나의 "토큰"(고차원 숫자 벡터)으로 정제합니다.
그 후 원본의 무거운 책이나 사진은 버리고, 오직 이 작은 카드만을 남깁니다.
비유: 숙련된 요리사가 복잡한 스튜를 맛본 뒤, 그 맛을 완벽하게 담아낸 단 하나의 비밀 코드를 냅킨에 적는 것과 같습니다. 이제 더 이상 스튜 냄비를 통째로 가질 필요 없이, 그 코드만 있으면 됩니다.

2. 검색 (The "Magic Compass" - 마법 나침반)
질문을 던지면, 시스템은 무거운 책들을 뒤지는 대신, 질문을 유사한 "코드"로 변환하여 서랍 속에서 일치하는 요약 카드들을 찾아냅니다.

모든 것이 이제 단 하나의 카드가 되었기 때문에, 검색은 믿을 수 없을 정도로 빠르고 공간도 거의 차지하지 않습니다.

3. 답변 (The "Direct Feed" - 직접 공급)
시스템은 가장 잘 일치하는 상위 몇 개의 요약 카드를 뽑아 메인 AI(생성 모델)에게 직접 전달합니다.

메인 AI는 원본 텍스트를 읽거나 원본 사진을 볼 필요가 없습니다. 그저 카드의 "비밀 코드"를 읽는 것만으로도 맥락을 즉시 이해하고 답을 낼 수 있습니다.
핵심 포인트: 메인 AI를 다시 학습시킬 필요가 없습니다. 그저 기존의 책 대신 이 새로운 카드들을 "읽는 법"만 배우면 됩니다.

이것이 왜 대단한 일인가요?

1. 엄청난 효율성 (The "Lightweight Backpack" - 가벼운 배낭)
이 논문은 이 방법이 "토큰 비용"(AI가 처리해야 하는 데이터 양)을 3배에서 10배까지 줄인다고 주장합니다.

텍스트: AI에게 200단어의 문맥을 보내는 대신, 단 1개의 토큰만 보냅니다.
이미지: 사진을 수백 개의 "시각적 단어"로 확장하는 대신, 단 1개의 토큰만 처리합니다.
결과: 데이터 "배낭"이 깃털처럼 가벼워졌기 때문에, 스마트폰과 같은 작은 기기에서도 강력한 AI를 실행할 수 있습니다.

2. 여전히 잘 작동함 (The "Perfect Memory" - 완벽한 기억력)
"원본 책을 버리면 AI가 세부 사항을 잊어버리지 않을까?"라고 걱정할 수 있습니다.

저자들은 "요약 카드"가 단순히 모호한 아이디어가 아니라 정밀한 열쇠가 될 수 있도록 세 가지 특정 기술을 사용하여 압축 모델을 훈련했습니다.
- 재구성(Reconstruction): 시스템이 카드를 통해 원본 텍스트나 이미지 설명을 "재건"하려고 시도함으로써 세부 사항이 남아 있는지 확인합니다.
- 대조(Contrast): "애니 모튼"의 카드와 "테리 리처드슨"의 카드가 서로 섞이지 않도록 매우 다르게 만들어지도록 학습합니다.
- 증류(Distillation): 카드가 원본 증거를 직접 읽었을 때와 똑같이 작동하도록 가르칩니다.

3. 결과

텍스트 질문: 표준 독해 테스트에서 이 방법은 무겁고 느린 기존 방식만큼 성능이 좋으면서도, 토큰은 3배 적게 사용했습니다.
이미지 질문: 사진을 다루는 테스트(사진 속 물체 식별 등)에서 이 방식은 10배 더 효율적이었으며, 사진 처리에 필요한 방대한 데이터 때문에 발생하는 혼란을 피함으로써 오히려 다른 방식보다 더 나은 성능을 보였습니다.

한계점 (논문에서 언급한 내용)

논문은 이 방식이 증거가 개별적인 "원자적(atomic)" 단위(한 단락, 사진 한 장 등)로 나뉠 수 있을 때 가장 잘 작동한다고 명시합니다.

행과 열의 관계가 중요한 거대한 스프레드시트나, 사건의 순서가 매우 중요한 긴 영상처럼 복잡한 구조에 의존하는 데이터의 경우 어려움을 겪을 수 있습니다. 이러한 것들을 단 하나의 카드로 압축하면 "전체적인 구조(big picture)"를 놓칠 수 있기 때문입니다.

요약

**잠재 메모리(Latent Memory)**는 무거운 원본 책과 사진들로 가득 찬 도서관을, 모든 항목이 하나의 작고 완벽한 코드로 표현되는 매끄러운 디지털 카드 목록으로 바꾸는 것과 같습니다. 이를 통해 AI는 훨씬 적은 메모리와 속도로 복잡한 질문에 답할 수 있으며, 이는 기존에는 감당하기 어려웠던 기기에서도 강력한 AI를 사용할 수 있게 해줍니다.

기술 요약: 멀티모달 증거당 하나의 토큰: 자원 제한적 QA를 위한 잠재 메모리(Latent Memory)

문제 정의

대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)은 질문 답변(QA) 작업에서 출력을 근거 지을 수 있는 관련 멀티모달 증거에 의존합니다. 그러나 기존의 메모리 패러다임은 계산 비용이 많이 들고 저장 공간을 많이 차지합니다. 기존의 검색 증강 생성(RAG) 시스템은 가공되지 않은 텍스트와 이미지를 검색하여 이를 생성기에 압축 없이 전달합니다. 이러한 방식은 특히 이미지 한 장이 생성 과정에서 수백 개의 시각적 토큰으로 확장될 수 있는 멀티모달 증거의 경우, 상당한 토큰 소비와 지연 시간을 초래합니다. 이러한 비용은 저장 공간과 지연 시간이 중요한 엣지 디바이스나 온라인 어시스턴트와 같은 자원 제한적 환경에서 메모리 증강 시스템의 배포를 저해합니다.

방법론: 잠재 메모리(Latent Memory)

본 논문은 원시 멀티모달 증거 항목을 압축된 고차원 잠재 토큰으로 대체하는 잠재 메모리(Latent Memory) 패러다임을 제안합니다. 핵심 아이디어는 각 증거 단위(텍스트 또는 이미지)를 검색과 생성이라는 두 가지 목적을 모두 수행하는 단일 잠재 토큰으로 압축하는 것입니다.

아키텍처 및 파이프라인

메모리 압축: 소규모의 학습 가능한 압축기 LLM/VLM( $\theta$ )이 각 증거 항목 $x_i$ 를 단일 잠재 토큰 $z_i$ 로 인코딩합니다. 이는 학습 가능한 [MEM] 토큰을 입력에 추가하고 해당 토큰의 최종 은닉 상태(hidden state)를 추출함으로써 수행됩니다.
통합 검색 공간: 잠재 토큰은 MLP를 통해 저차원 검색 공간으로 투영됩니다. 쿼리 시점에 질문은 동일한 공간으로 임베딩되며, 유사도 검색(예: 내적)을 통해 관련 잠로 잠재 토큰이 검색됩니다.
잠재 조건부 생성: 검색된 잠재 토큰은 학습 가능한 프로젝터를 사용하여 동결된(frozen) 대규모 LLM/VLM 생성기( $\phi$ )의 은닉 차원으로 투영됩니다. 생성기는 이러한 잠재 토큰을 바탕으로 답변을 생성하며, 이 과정에서 원시 증거나 확장된 시각적 토큰을 처리할 필요가 없습니다.
선택적 재구성: 해석 가능성을 유지하기 위해, 디코더는 잠재 토큰으로부터 원래의 텍스트나 이미지 캡션을 재구성할 수 있으나, 이는 생성을 위해 필수적인 사항은 아닙니다.

학습 목표

압축기와 관련 프로젝터들은 다음 세 가지 목표를 결합한 통합 손실 함수를 사용하여 엔드투엔드(end-to-end)로 학습됩니다:

재구성 손실 ( $L_{Recon}$ ): 잠재 토큰이 원래의 텍스트 또는 이미지 임베딩을 재구성하기에 충분한 정보를 보존하도록 보장합니다 (텍스트의 경우 티처 포싱(teacher-forcing) 방식을 사용하고, 이미지의 경우 CLIP 임베딩 예측을 사용함).
대조 검색 손실 ( $L_{Contrast}$ ): 쿼리 임베딩을 지지하는 양성(positive) 잠재 증거와 정렬시키는 동시에 음성(negative) 증거와는 멀어지게 함으로써, 혼합 모달리티를 위한 통합된 검색 공간을 형성합니다.
증류 손실 ( $L_{Distill}$ ): 잠재 토큰이 프롬프트로 주어졌을 때의 동결된 생성기의 동작을 원시 증거가 프롬프트로 주어졌을 때의 동작과 일치시킵니다. 이를 통해 대규모 생성기 자체를 미세 조정하지 않고도 생성기가 잠재 토큰을 유효한 증거로 해석할 수 있도록 합니다.

주요 기여

잠재 메모리 패러다임: 저자들은 각 멀티모달 증거 항목을 단일 고차원 잠재 토큰으로 컴파일하는 새로운 메모리 패러다임을 제안하며, 이를 통해 저장 공간과 토큰 소비를 획기적으로 줄입니다.
통합 학습 목표: 재구성, 대조 학습, 증류를 결합한 학습 목표를 통해 단일 잠재 토큰이 검색, 정보 보존, 생성을 동시에 지원할 수 있음을 입증했습니다.
효율성-성능 트레이드오프: 이 방법은 발전된 RAG 베이스라인들과 비교하여 경쟁력 있는 QA 성능을 달면서도 훨씬 적은 수의 생성기 토큰(3배에서 10배 감소)을 소비합니다.

실험 결과

본 방법은 7개의 텍스트 전용 QA 벤치마크(예: HotpotQA, 2WikiMultihopQA, MuSiQue)와 멀티모달 벤치마크(WebQA)에서 평가되었습니다.

텍스트 전용 QA: 동결된 Meta-Llama-3-8B-Instruct 생성기를 사용하여, 1-토큰 잠재 메모리는 RAG 베이스라인(BM25, Dense Retrieval, Qwen3-Embedding)과 비교하여 경쟁력 있는 EM(Exact Match) 및 F1 점수를 달성하면서도 약 3배 적은 토큰을 사용했습니다. 예를 들어, 도메인 외 평균 데이터셋에서 $k=5$ 일 때, BM25(209개) 및 Dense Retrieval(208개)에 비해 71개의 토큰만을 사용했습니다.
멀티모달 QA (WebQA): 동결된 LLaVA-1.5-13B 생성기를 사용하여, 잠재 메모리는 가장 강력한 이미지 기반 QA 성능을 보여주었습니다. $k=5$ 에서, 최상의 베이스라인인 Nemo-Emb가 1,885개의 토큰을 사용하여 53.0의 F1을 기록한 반면, 잠재 메모리는 단 82개의 토ක만으로 69.4의 이미지 F1을 달이트했습니다.
확장성: 이 접근 방식은 컴파일 단계에서 증거 항목의 수에 따라 선형적으로 확장되며, 추론 시에는 낮은 복잡도를 유지하여 전체 컨텍스트 프롬프팅과 관련된 이차적(quadratic) 성장을 피합니다.
일반화: HotpotQA에서 학습된 잠재 메모리는 추가 튜닝 없이도 도메인 외 데이터셋(2WikiMultihopQA, MuSiQue)으로 효과적으로 전이되었으며, 이는 견고한 검색 능력을 입증합니다.

의의 및 주장

본 논문은 잠재 메모리가 외부 메모리를 표현하는 방식을 근본적으로 바꿈으로써 자원 제한적 애플리케이션을 위한 실행 가능한 솔루션을 제공한다고 주장합니다. 멀티모달 증거를 단일 토큰으로 압축함으로써, 이 방식은 저장 공간 압박(특히 이미지의 경우)과 생성 중 발생하는 토큰 소비라는 두 가지 병목 현상을 해결합니다.

저자들은 이 접근 방식이 대규모의 값비싼 생성 모델을 미세 조정할 필요 없이, 저장 공간이나 지연 시간이 엄격히 제한된 환경(예: 엣지 AI)에 메모리 증강 시스템을 배포할 수 있게 해준다는 점을 강조합니다. 통합된 잠재 표현 공간은 검색-생성 파이프라인을 단순화하여, 긴 컨텍스트 및 다회차(multi-turn) 상호작용을 효율적으로 처리할 수 있게 합니다. 현재 설계는 증거가 원자적인 텍스트 또는 이미지 단위로 분해될 수 있다고 가정하지만, 본 논문은 잠재 메모리를 더 효율적인 멀티모달 에이전트 시스템을 향한 기초적인 단계로 자리매김하고 있습니다.