💬 NLP

ARC-Encoder: learning compressed text representations for large language models

이 논문은 텍스트를 연속적인 표현으로 압축하여 디코더 LLM의 토큰 임베딩을 대체하는 적응형 인코더인 ARC-Encoder를 소개하며, 이는 아키텍처 수정 없이도 여러 디코더 모델에 걸쳐 일반화되면서 다양한 시나리오에서 최첨단 성능을 달성하고 추론 효율성을 크게 향상시킨다.

원저자: Hippolyte Pilchen, Edouard Grave, Patrick Pérez

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hippolyte Pilchen, Edouard Grave, Patrick Pérez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

단 하나의 질문에 답하기 위해 수천 페이지에 달하는 거대한 백과사전을 읽어야 한다고 상상해 보세요. 당신의 뇌(또는 이 경우에는 거대 언어 모델이라고 불리는 매우 똑똑한 컴퓨터 프로그램)는 이야기를 이해하기 위해 기억 속에 모든 단어를 한꺼번에 담아두어야 합니다. 문제는, 이 컴퓨터들이 이야기가 너무 길어지면 과부하가 걸린다는 점입니다. 컴퓨터는 느려지거나, 혼란에 빠지거나, 혹은 특정 지점 너머의 것은 아무것도 기억하지 못하는 '벽'에 부딪히게 됩니다. 이것은 마치 배낭 안에 도서관을 통째로 넣으려고 하는 것과 같습니다. 결국 끈이 끊어지거나 더 이상 걸을 수 없게 되죠.

이를 해결하기 위해, 과학자들은 이 컴퓨터들에게 책을 읽기 전에 그 내용을 "요약"하도록 가르치려고 노력해 왔습니다. 어떤 방식은 중요하지 않다고 생각되는 단어들을 버리려 하고(마치 책에서 페이지를 삭제하는 것처럼), 다른 방식은 책 전체를 모든 의미를 담고 있는 하나의 밀도 높은 "마법 토큰"으로 바꾸려 합니다. 하지만 여기에는 함정이 있습니다. 대부분의 마법 같은 기술들은 이 새로운 요약을 이해하기 위해 컴퓨터의 뇌를 완전히 재구축해야 한다는 것입니다. 이것은 마치 개에게 프랑스어를 가르치려는데, 그 과정에서 개의 뇌를 수술로 변형시켜야 하는 것과 같습니다. 이렇게 하면 그 개는 프랑스어는 아주 잘하게 되지만, 원래 하던 기술들은 형편없이 못 하게 됩니다. 또한, 그 뇌를 다른 개에게 그대로 사용할 수도 없습니다.

바로 이 지점에서 Kyutai의 연구진이 발표한 새로운 연구가 등장합니다. 그들은 단순한 질문을 던졌습니다. "만약 컴퓨터의 뇌를 전혀 건드리지 않고도, 긴 책을 짧고 압축된 버전으로 바꿔주는 별도의 '번역기'를 만들 수 있다면 어떨까?" 그들은 ARC-Encoder라는 도구를 만들었습니다. 이것을 매우 효율적인 사서라고 생각해 보세요. 이 사서는 1,000페이지짜리 책을 읽고 나서, 컴퓨터가 이미 읽는 법을 알고 있는 비밀 코드로 작성된 125페이지짜리 요약 노트를 당신에게 건네줍니다. 컴퓨터는 변할 필요가 없습니다. 그저 책 전체 대신 이 요약 노트를 읽기만 하면 됩니다.

연구진은 이 방식이 놀라울 정도로 잘 작동한다는 것을 발견했습니다. "풀링(pooling)"이라는 특정 기술을 사용했는데, 이는 네 단어마다 하나씩 뽑아내어 하나의 '슈퍼 단어'로 혼합하는 것과 같습니다. 이를 통해 그들은 텍ка스트를 4배 또는 8배로 축소할 수 있었습니다. 연구진이 다양한 종류의 컴퓨터(이를 "디코더"라고 부릅니다)를 대상으로 테스트했을 해본 결과, ARC-Encoder는 컴퓨터가 전체 텍스트를 읽었을 때와 마찬가지로 질문에 답하고, 언어를 번역하며, 이야기를 요약하는 일을 거의 동일하게 수행할 수 있었습니다. 더욱 멋진 점은, 단 하나의 "번역기"가 여러 가지 서로 다른 컴퓨터와 동시에 작동하도록 학습될 수 있다는 사실을 발견했다는 것입니다. 이는 마치 모든 기기에 맞춤형 충전기를 따로 만드는 대신, 어떤 기기에도 꽂을 수 있는 하나의 범용 어댑터를 갖는 것과 같습니다.

이 연구는 이 방법이 AI의 원래 능력을 망가뜨리지 않으면서도 AI를 더 빠르고 똑똑하게 만드는 유연한 방법임을 시사합니다. 연구진은 이 방식이 극도로 긴 문서를 완벽하게 다루기 위해서는 여전히 연습이 필요하다는 점을 인정하면서도, 텍스트를 압축함으로써 컴퓨팅 파워와 메모리를 크게 절약할 수 있음을 보여주었습니다. 실제로 그들은 영어 위키피디아 전체의 압축된 요약본을 저장하는 데 드는 공간이 원문 텍스트 자체와 거의 비슷할 것이라고 계산했습니다. 즉, 우리는 이 요약본들을 미리 계산해 두었다가 필요할 때마다 즉시 사용할 수 있다는 뜻입니다. 이는 AI가 본래의 개성을 그대로 유지하면서도, 지치지 않고 도서관 전체를 읽을 수 있게 만드는 유망한 단계입니다.

기술 요약: ARC-Encoder

문제 정의

대규모 언어 모델(LLM)이 RAG(검색 증강 생성) 및 CoT(사고의 사슬) 추론과 같이 긴 컨텍스트를 요구하는 작업에 점점 더 많이 배치됨에 따라, 트랜스포머 어텐션 메커니즘의 이차 복잡도로 인해 추론 시 발생하는 계산 비용이 크게 증가하고 있습니다. 컨텍스트 압축은 입력 길이를 줄이는 해결책을 제공하지만, 기존 방식들은 다음과 같은 결정적인 한계에 직면해 있습니다:

하드 압축(Hard Compression): LLMLingua와 같은 방식은 토큰을 제거하거나 요약합니다. 이는 해석 가능하지만, 압축률이 제한적입니다.
소프트 압싱(Soft Compression): "메모리 토큰" 또는 "gist 토큰"을 사용하여 컨텍스트를 밀집 벡터로 인코딩하는 방식입니다. 그러나 가장 효과적인 소프트 압축 접근 방식 대부분은 대상 디코더를 미세 조정하거나 그 구조를 수정해야 합니다. 이러한 적응 과정은 특정 압축 작업에 사용되지 않을 때 모델의 일반적인 능력을 저하시킬 수 있으며, 각 개별 디코더마다 전용 인코더를 학습시켜야 하므로 이식성을 저해합니다.

방법론

저자들은 ARC-Encoder(Adaptable text Representations Compressor)를 제안합니다. 이는 텍 freezing된 디코더 LLM 내의 원시 토큰 임베딩을 대체할 연속적 표현(continuous representations)으로 텍스트를 압축하는 방법입니다. 핵심 설계는 디코더를 수정하지 않은 상태로 유지하여, 디코더 본연의 생성 및 퓨샷(few-shot) 능력을 보존하도록 합니다.

아키텍처

시스템은 세 가지 주요 구성 요소로 이루어집니다:

텍스트 인코더(Text Encoder): 출력 헤드와 인과적 마스크(causal mask)가 제거된 LLM 트랜스포머(주요 실험에서는 Llama3.2 3B 사용)를 기반으로 합니다.
풀링 메커니즘(Pooling Mechanism): 인코더의 마지막 레이어 내 셀프 어텐션 모듈 내에서 수행되는 새로운 연산입니다. 고정된 메모리 토큰을 사용하는 대신, 인코더는 연속적인 쿼리 벡터를 평균화하여 시퀀스 길이를 고정된 풀링 계수( $x$ , 일반적으로 4 또는 8)만큼 줄입니다. 키(Keys)와 값(Values)은 압축되지 않은 상태로 유지되며, 쿼리(Queries)만 병합됩니다. 이를 통해 출력 크기는 입력 길이에 따라 선형적으로 확장될 수 있습니다.
MLP 프로젝터(MLP Projector): 인코더의 출력을 대상 디코더의 은닉 차원(hidden dimension)으로 매핑하는 가벼운 2레이어 다층 퍼셉트론(활성화 함수 없음)입니다. 이는 차원의 병목 지점이자 어댑터 역할을 합니다.

학습 전략

학 compression된 표현이 재구성 가능하면서도 다운스트림 생성에 유용하도록 하기 위해 두 단계의 별도 학습 과정을 거칩니다:

사전 학습(Pretraining): 모델은 두 가지 작업을 교대로 수행합니다:
- 재구성(Reconstruction): 디코더는 압축된 표현으로부터 전체 텍텍스 토큰을 복제하도록 교사 강제(teacher-forced)됩니다.
- 계속하기(Continuation): 텍스트의 부분 시퀀스가 압축된 표현으로 대체되며, 디코더는 그 지점부터 텍스트를 계속 작성하도록 학습됩니다.
- 작업 명시를 위해 특수 학습 토큰(<Rec> 및 <Cont>)이 추가됩니다.
미세 조정(Fine-Tuning): 디코더는 고정된 상태에서 인코더를 특정 다운스트림 작업(QA, 번역, 요약)에 맞춰 미세 조정합니다. 퓨샷 학습 능력을 보존하기 위해, 학습 데이터는 압축된 문서와 전체 텍스트 질의응답을 교차하여 포함합니다.

멀티 디코더 적응(Multi-Decoder Adaptation)

핵심 혁신은 단일 공유 인코더가 여러 디코더(예: Mistral 7B 및 Llama3.1 8B)와 함께 작동하도록 학습할 수 있는 능력입니다. 이는 인코더 가중치는 공유하면서 각 디코더를 위한 별도의 가벼운 MLP 프로젝터와 특정 작업 토큰을 학습함으로써 달성됩니다. 이러한 디코더 전용 파라미터는 전체 인코더 파라미터의 1% 미만을 차지합니다.

주요 기여

ARC-Encoder 방법: LLM의 원시 입력을 대체할 압축된 텍스트 표현을 계산하는 새로운 접근 방식을 제시합니다. 이는 디코더를 수정하지 않고도 표준 벤치마크(QA, 번역, 요약)에서 강력한 성능을 달성하며 입력 시퀀스 길이를 줄입니다.
교차 디코더 호환성: 단일 인코더가 동시에 여러 디코더를 지원하도록 학습할 수 있음을 입증했습니다. 새로운 디코더에 적응하려면 인코더 파라미터의 1% 미만인 작은 MLP 프로젝터만 학습하면 되므로 "이식 가능한" 압축 솔루션을 제공합니다.
컨텍스트 윈도우 확장: 대규모 문서를 병렬로 처리되는 청크(chunks)로 압축함으로써 디코더의 컨텍스트 윈도우를 성공적으로 확장합니다(예: 4k 토큰 모델이 32k 토콘을 처리할 수 있게 함).
학습 통찰: 저자들은 정렬(alignment)을 위한 사전 학습과 작업 특화(task specialization)를 위한 미세 조정 모두가 중요하다는 점을 밝혀냈습니다. 또한, 미세 조정 시 사용하는 것보다 더 높은 풀링 계수로 사전 학습을 진행하는 것이 더 나은 결과를 낸다는 점을 발견했습니다.

결과

성능: ARC-Encoder는 베이스 모델 상에서 표준 벤치마크(HotpotQA, Natural Questions, SQuAD, FLORES, CNN-DailyMail)에서 기존 베이스라인(ICAE, xRAG, PISCO, LLMLingua2)과 대등하거나 이를 능가하는 성능을 달s합니다.
효율성: 풀링 계수에 따라 전체 텍스트를 처리할 때보다 프리필링(prefilling) 계산 비용(FLOPs)을 약 1.8배에서 1.9배 감소시킵니다.
메모리: 위키피디아의 압축된 표현이 원본 텍스트와 유사한 저장 공간(원문 24 GiB 대비 약 20~80 GiB)을 필요로 함을 보여줌으로써, RAG 시스템을 위한 사전 계산 및 저장이 실용적임을 입증했습니다.
일반화: 다른 압축기들이 어려움을 겪는 생물 의학 데이터셋(BioASQ, PubMedQA)에서 강력한 도메인 외 일반화 능력을 보여주었습니다. 이는 공유 인코더의 견고함과 최소한의 디코더 수정 덕분인 것으로 보입니다.
긴 컨텍스트: 롱 컨텍스트 벤치마크(ZeroSCROLLS)에서 ARC-Encoder는 디코더 아키텍처를 건드리지 않고도 특정 작업에서 롱 컨텍스트를 위해 특별히 미세 조정된 모델(예: Llama2-32k)보다 우수한 성능을 보였습니다.

의의 및 주장

ARC-Encoder는 유연하고 효율적인 휴대형 컨텍스트 압축 솔루션으로서 자리매김합니다. 이 논문의 주요 의의는 압축을 디코더 수정으로부터 분리했다는 점에 있습니다. 디코더의 원래 가중치를 보존함으로써, 이 방법은 특정 작업을 위해 디코더를 미세 조정할 때 흔히 발생하는 "파괴적 망각(catastrophic forgetting)"을 피하고 퓨샷 학습 및 표준 평가 프로토콜(예: 5-shot 설정에서의 Exact Match)과의 호환성을 유지합니다.

저자들은 ARC-Encoder가 다양한 LLM에 최소한의 오버헤드로 적응할 수 있는 보편적인 압축 표현을 생성할 수 있게 하며, 타겟 모델의 아키텍처 변경 없이 효율적인 롱 컨텍스트 처리를 향한 실질적인 경로를 제공한다고 주장합니다. 저자들은 미세 조정 데이터의 작업 포맷팅에 따라 효과가 달라질 수 있다는 점과, 8배 이상의 높은 압축률이나 매우 긴 컨텍스트(예: 128k)는 향후 연구 과제로 남아 있다는 한계점을 인정하고 있습니다.