💬 NLP

Tevatron-Elastic: A Unified Abstraction for Training Elastic Retrievers and Rerankers

이 논문은 레이어 축소, 토큰 압축, 임베딩 절단을 단순한 추상화 아래 결합함으로써, 각 구성마다 별도의 학습 설정을 요구하지 않고 리트리버와 리랭커 모두에 대해 다양한 크기로 동적 적응이 가능한 단일 트랜스포머 기반 모델 체크포인트를 학습할 수 있게 하는 통합 프레임워크인 Tevatron-Elastic을 소개한다.

원저자: Yu Wang, Shengyao Zhuang, Xueguang Ma, Zongyu Wu, Jimmy Lin, Vivek Srikumar, Zhichao Xu

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yu Wang, Shengyao Zhuang, Xueguang Ma, Zongyu Wu, Jimmy Lin, Vivek Srikumar, Zhichao Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

검색 엔진의 딜레마: 속도, 크기, 그리고 지능

당신이 인터넷 전체라는 거대한 건초더미 속에서 특정 바늘 하나를 찾으려고 노력하고 있다고 상상해 보세요. 이것이 검색 엔진이 매일 수행하는 작업입니다. 이를 위해 컴퓨터는 '리트리버(retriever, 검색기)'와 '리랭커(reranker, 재순위화기)'라는 스마트한 프로그램을 사용합니다. 이 프로그램들은 먼저 가능한 바늘들을 잔뜩 집어 올린 다음, 그중에서 가장 완벽한 하나를 골라냅니다. 이러한 프로그램들은 '트랜스포머(transformer)'라고 불리는 강력한 AI 모델을 기반으로 구축됩니다. 트랜스포머를 텍xt를 읽고 그 의미를 이해하는 거대하고 매우 똑똑한 뇌라고 생각하면 됩니다.

하지만 문제가 있습니다. 이 뇌들은 무겁습니다. 컴퓨터 하드 드라이브의 많은 공간(저장 용량)을 차지하며, 생각하는 데 오랜 시간(연산량)이 걸립니다. 때때로 검색 엔진은 질문에 답하기 위해 순식간에 움직여야 하므로 더 작은 뇌가 필요합니다. 또 어떤 때는 수십억 개의 문서를 저장해야 하므로, 아주 작고 압축된 메모를 만들어내는 뇌가 필요합니다. 과거에는 엔지니어들이 각 작업마다 서로 다른 뇌를 만들어야 했습니다. 속도를 위한 뇌, 저장을 위한 뇌, 그리고 최대 정확도를 위한 뇌가 각각 따로 필요했죠. 이는 마치 매 여행마다 다른 차를 사야 하는 것과 같았습니다. 경주용 트랙을 위해서는 레이싱 카를, 가족 여행을 위해서는 미니밴을, 가구를 옮기기 위해서는 트럭을 준비해야 했던 것처럼 말입니다. 이 논문은 다음과 같이 질문합니다. 왜 우리가 필요에 따라 무엇이든 변신할 수 있는 하나의 마법 같은 탈것을 가질 수는 없는 걸까?

형태를 바꾸는 뇌: 테브라톤-엘라스틱 (Tevatron-Elastic)

이 논문은 **테브라톤-엘라스틱(Tevatron-Elastic)**이라는 새로운 프레임워크를 소개합니다. 저자들은 이러한 AI 뇌의 "무거운" 부분들을 세 가지 방식으로 압축할 수 있다는 점을 깨달았고, 이 모든 것을 한 번에 수행할 수 있는 단 하나의 도구를 만들었습니다.

AI 모델을 다층 타워라고 상상해 보세요.

깊이 (높이): 타워의 중간쯤에서 읽기를 멈추기로 결정할 수 있습니다. 만약 28층 전체를 사용하는 대신 아래쪽 5개 층만 사용한다면, 뇌는 할 일이 줄어들기 때문에 더 빠르게 생각합니다. 이는 이미 줄거리를 이해했기 때문에 책의 마지막 몇 장을 건너뛰는 것과 같습니다.
토큰 (군중): 타워 내부에서 뇌는 단어들의 군중(토큰)을 살펴봅니다. 때때로 뇌는 군중의 절반을 무시하고 가장 중요한 사람들에게만 집중할 수 있습니다. 이는 상층부가 처리해야 할 그룹의 크기를 줄여 에너지를 절약합니다.
너비 (배낭): 뇌가 작업을 마치면 요약 노트를 작성합니다. 보통 이 노트는 매우 큽니다. 하지만 당신은 가장 중요한 세부 사항만 남기고 더 짧은 노트를 쓰기로 선택할 수 있습니다. 이렇게 하면 노트가 아주 작아져서 엄청난 양의 저장 공간을 아낄 수 있습니다.

이 논문이 나오기 전에는, 만약 빠르면서도(얕은 깊이) 용량이 작은(짧은 노트) 모델을 원했다면, 두 개의 별도 모델을 만든 뒤 그것들이 잘 작동하기를 기도해야 했습니다. 테브라톤-엘라스틱은 이 세 가지 옵션을 하나의 단순한 다이얼 설정처럼 취급함으로써 게임의 판도를 바꿉니다. 당신은 시스템에 이렇게 명령할 수 있습니다. "28층 높이에 배낭이 가득 찬 모델을 훈련시켜 줘", 또는 "10층 높이에 배낭이 절반만 찬 모델을 훈련시켜 줘", 혹은 심지어 "이 모든 버전이 한꺼번에 되도록 훈련시켜 줘"라고 말이죠.

하나의 체크포인트, 무한한 크기

테브라톤-엘라스틱의 마법은 단 하나의 모델을 훈련시켜서 이 모델이 즉각적으로 어떤 버전으로든 변신할 수 있게 한다는 점입니다. 저자들은 이를 "통합 추상화(unified abstraction)"라고 부릅니다. 새로운 형태마다 코드를 새로 쓰는 대신, 그들은 "작아지는 것, 중간 크기가 되는 것, 커지는 것 모두에 동시에 능숙해지도록 학습하라"고 말하는 간단한 목록인 '스케줄(schedule)'을 만들었습니다.

훈련이 끝나면, 당신은 하나의 '체크포인트'(모델의 저장된 파일)를 얻게 됩니다. 이를 배포할 때, 당신은 모델에게 스스로를 '가지치기(prune)' 하라고 명령할 수 있습니다. 속도가 필요하면 상층부를 잘라내면 됩니다. 공간을 아껴야 한다면 배낭을 줄이면 됩니다. 모델을 다시 훈련할 필요 없이, 그저 모드를 전환하기만 하면 됩니다.

연구진은 세 가지 유형의 AI 뇌(백본: BERT, ModernBERT, Qwen3)를 사용하여 20개의 서로 다른 체크포인트에 대해 테스트했습니다. 그 결과는 다음과 같습니다:

곡선이 매끄럽습니다: 모델을 더 작게 만들거나 얕게 만들더라도 품질이 급락하지 않고, 예상대로 완만하게 내려갑니다. 16층에서 멈춘 모델은 여전히 매우 똑똑하며, 단지 풀 버전보다 조금 덜 똑똑할 뿐입니다.
효율적입니다: 이 "슈퍼 모델"을 훈련시키는 비용은 고정된 크기의 단일 모델을 훈련시키는 비용보다 아주 약간 더 들 뿐입니다. 그만큼의 유연성을 얻기 위해 지불할 만한 저렴한 대가입니다.
속도 향상이 실질적입니다: 실제로 모델을 실행했을 때, 층수가 적은 모델은 실제로 더 빨랐습니다. 예를 들어, 16층에서 멈춘 모델은 거의 동일한 품질을 유지하면서도 풀 버전보다 1.75배 더 빨랐습니다. 6층에서 멈춘 모델은 문서를 읽는 데 4.6배 더 빨랐습니다.

하지 못하는 것 (그리고 그것이 괜찮은 이유)

이 논문이 하지 않는 것을 아는 것도 중요합니다. 저자들은 매우 명확하게 밝히고 있습니다. 그들은 AI를 이전보다 더 똑똑하게 만드는 새로운 방법을 발명한 것이 아닙니다. 컷팅되지 않은 전체 모델을 사용한다면, 기존 모델만큼 성능이 좋습니다. 또한 세 가지 기술을 항상 동시에 사용해야 한다고 증명한 것도 아닙니다. 때로는 속도만 필요할 때가 있고, 때로는 저장 공간만 필요할 때가 있습니다. 핵심은 이제 당신의 특정 상황에 맞는 완벽한 절충안을 선택할 수 있는 선택권을 갖게 되었다는 것입니다. 시스템 전체를 다시 구축하지 않고도 말이죠.

또한 그들은 '리랭킹(reranking, 재순위화)'과 같은 일부 작업에서는 뇌가 다르게 작동한다는 점을 언급했습니다. 만약 타워를 너무 짧게 자르면 품질이 처음에는 급격히 떨어졌다가 이후 평탄해집니다. 하지만 '리트리벌(retrieval, 검색)'의 경우에는 품질이 매우 부드럽게 떨어집니다. 이는 엔지니어들이 자신의 필요에 따라 어디에서 타워를 잘라야 할지 정확히 알 수 있도록 도와줍니다.

핵심 요약

테브라톤-엘라스틱은 검색 엔진을 위한 맥가이버 칼(Swiss Army knife)과 같습니다. 다양한 모델이 담긴 도구 상자 전체를 들고 다니는 대신, 하나의 모델이 당면한 과제에 맞춰 스스로 줄어들고, 늘어나고, 모양을 바꿀 수 있습니다. 거대한 서버 팜에서 검색 엔진을 운영하든, 휴대폰의 작은 앱에서 운영하든, 이제 당신은 단 한 번의 유연한 훈련 과정을 통해 필요한 속도, 크기, 지능의 정확한 균형을 조절할 수 있습니다. 저자들은 자신들의 코드와 훈련된 모든 모델을 공개하여, 다른 이들이 이 토대 위에서 더욱 탄력적인 시스템을 구축할 수 있도록 초대하고 있습니다.

기술 요약: Tevatron-Elastic

문제 정의

프로덕션 환경의 검색(retrieval) 시스템은 근본적인 유연성 문제에 직면해 있습니다: 단일 모델 스케일로는 다양한 배포 제약 조건을 동시에 충족할 수 없습니다. 어떤 설정은 더 빠른 추론을 요구하고, 다른 설정은 더 작은 인덱스 점유 용량을 요구하며, 최적의 트레이드오프는 워크로드에 따라 변화합니다. 트랜스포머 기반 정보 검색(IR) 모델은 세 가지 별개의 축—깊이(레이어 감소), 토큰(상위 레이어에서의 시퀀스 길이 감소), 너비(임베딩 차원 감소)—를 따라 압축될 수 있지만, 기존 연구들은 이를 서로 분리된, 경쟁 관계에 있는 방법들로 취급해 왔습니다.

너비(MRL), 조기 종료(early-exit) 메커니즘, 레이어별 토큰 압축(LTC)과 같은 기존 방식들은 각각 고유한 모델 클래스 정의, 학습 목적 함수, 그리고 코드베이스를 필요로 합니다. 결과적으로 이러한 전략들을 결합하거나 새로운 백본(backbone)에 적용하려면 상당한 재구현 노력이 필요합니다. 이러한 보완적인 압축 축들을 단일 체크포인트로부터 정의, 학습 및 배포할 수 있게 해주는 통합된 추상화가 부재한 상황입니다.

방법론

저자들은 기존 Tevatron 툴킷을 기반으로 이러한 압축 축들을 단일 추상화 아래에 통합하는 프레임워크인 Tevatron-Elastic을 제안합니다. 핵심 설계 철학은 압축을 모델의 내부 아키텍처를 수정하는 것이 아니라, 모델의 잔차 스트림(residual stream, 은닉 상태)을 읽어내는 방식을 결정하는 "운영 지점(operating point)"을 선택하는 것으로 취급하는 것입니다.

핵심 추상화

Granularity (입도): 각 축에 대한 선택적 필드를 통해 운영 지점을 명명하는 불변(frozen) 데이터 클래스입니다:
- layer: 읽어낼 깊이 (조기 종료).
- dim: 유지할 임베딩 너비 (MRL 절단).
- keep_ratio 및 pool_layer: 토큰 압축 비율과 시퀀스 풀링이 발생하는 레이어.
GranularitySchedule: 학습할 운영 지점의 집합을 정의하는 선언적 리스트(문자열 또는 JSON을 통해 지정)입니다.

학습 메커니즘

별도의 학습 루프를 사용하는 대신, Tevatron-Elastic은 백본 모델(output_hidden_states=True 설정)을 통과하는 배치당 **단 한 번의 순전파(single forward pass)**를 수행합니다. 학습 손실(loss)은 공유된 은닉 상태로부터 도출되어 스케줄에 포함된 모든 운영 지점에 대해 계산된 손실들의 합입니다:

깊이: 중간 레이어의 은닉 상태를 읽습니다.
토큰: 특정 레이어에서 시퀀스 풀링을 적용한 후, 단축된 시퀀스에 대해 나머지 상위 레이어들을 실행합니다.
너비: 출력 벡터 차원을 절단합니다.
결합 학습(Joint Training): 프레임워크는 각 입도별 손실(예: 리트리버를 위한 InfoNCE, 리랭커를 위한 cross-entropy)을 합산하여, 나열된 모든 운영 지점을 지원하는 단일 체크포인트를 생성합니다.

인터페이스 및 호환성

이 프레임워크는 표준 Hugging Face Transformers 인터페이스(은닉 상태 튜플, 레이어 모듈 리스트, 풀링 단계)를 활용합니다. 이 설계 덕분에 새로운 백본(인코더 또는 디코더)을 추가할 때, 새로운 모델링 코드를 작성하는 대신 구성 변경이나 토큰 경로 처리를 위한 작은 심(shim)만 추가하면 됩니다. 프레임워크는 BERT, ModernBERT, Qwen3, Llama3, Mistral의 다섯 가지 백본 패밀리를 지원합니다.

새로운 기능: MLTC

이 프레임워크는 LTC의 확장형인 **Matryoshka Layerwise Token Compression (MLTC)**을 가능하게 합니다. MLTC는 단일 리트리버 체크포인트 내에서 여러 토큰 압축 비율을 공동 학습함으로써, 모델 클래스를 수정하지 않고도 다양한 토큰 길이를 지원할 수 있도록 합니다.

주요 기여

통합된 추상화: 단일 프레임워크가 두 가지 작업(검색 및 리랭킹), 세 가지 압축 축(깊이, 토큰, 너비), 그리고 다섯 가지 백본 패밀리를 아우르며, 백본마다 새로운 모델 코드를 요구하지 않습니다.
기존 방법의 재현: 이 프레임워크는 MRL, early exit, 2D Matryoshka, Starbucks, LTC를 동일한 시스템 내에서 단순한 설정만으로 재현합니다.
MLTC: 단일 리트리버 체크포인트 내에서 여러 토큰 압축 비율을 공동 학습하는 새로운 구성을 도입하여, 기존 토큰 압축 방법의 능력을 확장했습니다.
실증적 검증: 저자들은 세 가지 백본과 두 가지 작업에 대해 20개의 체크포인트를 학습시켰으며, 품질 곡선이 매끄럽고 단조적임을 입증했습니다.

결과

품질 곡선: BEIR-15 벤치마크에 대한 실증 연구 결과, 압축이 증가함에 따라 성능이 매끄럽게 저하됨을 보여줍니다. 리트리버의 경우, 품질은 깊이와 너비에 따라 단조롭게 향상됩니다. 리랭커의 경우, 깊이 곡선은 얕은 레이어에서는 낮은 성능을 보이다가 안정화되는 "절벽 후 정체(cliff-then-plateau)" 동작을 보입니다.
탄력성 비용(Elasticity Tax): 공동 학습의 비용(elasticity tax)은 미미합니다. 특정 크기에 맞춰 학습된 모델과 비교했을 때, 탄력적 모델의 전체 지점 성능은 인코더의 경우 $-0.013 $에서$ -0.026$만큼 하락하며, Qwen3 디코더의 경우 약간의 이득( $+0.008$ )을 보입니다. 리랭커의 비용은 $\pm 0.006$ 범위 내에 있습니다.
효율성: 측정된 추론 속도 향상은 분석적 비용 모델과 밀접하게 일치합니다.
- 깊이: 오프라인 문서 인코딩과 온라인 쿼리 인코딩 모두에서 연산량을 줄입니다.
- 토큰: 주로 긴 문서를 처리할 때 연산량을 줄입니다. 하위 레이어는 여전히 전체 시퀀스를 처리해야 하므로 짧은 쿼리(예: 8개 토큰)에 대해서는 무시할 만한 수준의 속도 향상을 제공합니다.
- 너비: 입력당 연산에는 영향을 주지 않으면서 인덱스 저장 공간과 검색 비용을 줄입니다.
백본 불가지론(Backbone Agnosticism): 프레임워크는 인코더(BERT, ModernBERT) 및 디코더(Qwen3, Llama3, Mistral) 패밀리 전반에 걸쳐 엔드 투 엔드 학습을 성공적으로 검증했습니다.

의의 및 주장

논문은 Tevatron-Elastic이 탄력적 모델링을 접근 가능하고 모듈화된 형태로 만드는 통합된 추상화를 제공한다고 주장합니다. 운영 지점의 정의를 모델 구현으로부터 분리함으로써, 연구자와 실무자가 다음과 같은 작업을 수행할 수 있도록 합니다:

모델 클래스를 재구현하지 않고도 서로 다른 압축 전략(예: 깊이 $\times$ 너비 $\times$ 토큰)을 결합할 수 있습니다.
다양한 배포 트레이드오프(지연 시간 vs 저장 공간 vs 연산량)를 제공하는 단일 체크포인트를 학습할 수 있습니다.
구성(configuration)을 통해 새로운 백본이나 압축 축으로 시스템을 쉽게 확장할 수 있습니다.

저자들은 Tevatron-Elastic이 기존 방법보다 절대적인 품질을 개선한다고 주장하거나, 세 가지 축을 모두 결합하는 것이 항상 더 바람직하다고 주장하는 것이 아님을 명시합니다. 대신, 이 모델의 의의는 유연성과 재현성에 있습니다. 즉, 효율적으로 학습된 단일 모델로부터 배포 시점에 적절한 트레이드오프를 선택할 수 있는 탄력적 검색 시스템을 구축할 수 있는 자원을 제공하는 것입니다. 연구를 촉진하기 위해 프레임워크와 20개의 체크포인트 모두 공개되었습니다.