기술 요약: LongAttnComp

문제 정의

대규모 언어 모델(LLM)이 100,000 토큰 이상의 입력을 처리해야 하는 실제 응용 분야에 점점 더 많이 배치됨에 따라, 컨텍스트 길이와 추론 효율성 사이의 결정적인 병목 현상이 나타나고 있습니다. 컨텍스트 압축은 입력이 대상 모델에 도달하기 전에 필터링하거나 응축하는 해결책을 제공하지만, 기존의 훈련이 필요 없는 어텐션 기반 방식(예: Speculative Prefill)은 까다로운 롱 컨텍스트 작업, 특히 코드 추론에서 상당한 성능 격차를 보입니다. 또한, AttnComp와 같은 기존의 미세 조정 방식는 짧은 컨텍스트(~12k 토큰)와 문서 수준 스코어링을 가진 검색 증강 QA에 국한되어 있어, 범용적인 롱 컨텍스트 압축기로서의 잠재력은 아직 검증되지 않았습니다.

저자들은 롱 컨텍스트 작업 성능을 검색(질의와 관련된 증거를 찾는 것)과 추론(그 증거로부터 답을 도출하는 것)의 분해로 프레임화합니다. 이들은 검색을 주요 병목 지점으로 식별하며, 효과적인 컨텍스트 압축은 본질적으로 거대한 입력 내에서 관련 토큰과 세그먼트를 식별해야 하는 검색 문제라고 주장합니다.

방법론: LongAttnComp

LongAttnComp는 AttnComp에서 변형된, 학습 가능한 드래프트 모델 기반의 압축 프레임워크입니다. 이는 고정된 LLM 백본에 학습 가능한 크로스 어텐션 스코어링 레이어를 결합한 핵심 메커니즘을 유지하면서, 롱 컨텍스트 추론을 처리하기 위한 네 가지 핵심적인 구조적 적응과 2단계 미세 조정 레시피를 도입합니다.

구조적 적응

1. 토큰 단위 청킹(Token-Level Chunking): AttnComp의 문서 단위 스코어링과 달리, LongAttnComp는 입력을 고정된 크기의 토큰 청크로 분할합니다. 이를 통해 자연스러운 문서 경계가 없는 실제 입력(예: 단일 긴 문서 또는 코드베이스)에서도 작동할 수 있게 하며, 청크 크기를 조절 가능한 하이퍼파라미터로 취급합니다.
2. 토큰 예산 Top-p 선택(Token-Budget Top-p Selection): 기존의 스코어 임계값 기반 top-p 알고리즘을 수정하여 콘텐츠 토큰 예산($B$)을 포함하도록 했습니다. 누적 점수가 $p$를 초과하거나 유지할 토큰이 $B$에 도달하면 선택을 중단합니다. 이는 예측 가능한 압축 길이를 제어하여, 기존의 최소 점수 임계값 방식에서 나타나는 과도한 토큰 탈락 현상을 방지합니다.
3. 위치 재정렬(Positional Reordering): 선택된 토큰 청크들은 대상 모델로 전달되기 전 원래의 위치 순서대로 복원되어, 기존 AttnComp가 보장하지 못했던 담화의 일관성을 유지합니다.
4. 포맷 불가지론적 쿼리 파서(Format-Agnostic Query Parser): 고정된 템플릿 없이 복잡한 프롬프트 구조(예: Code-Debug)를 처리하기 위해 쿼리 파서를 사용합니다. 저자들은 정확한 스팬 추출(span extraction)과 "임의적" 전략(마지막 $N$개 토큰을 쿼리로 할당)을 모두 평가하였으며, 후자가 최소한의 성능 저하로 견고하게 작동함을 발견했습니다.

2단계 미세 조정 레시피

저자들은 작업 커버리지를 넓히기 위해 커리큘럼 학습 방식을 제안합니다:

• 1단계 (기초 - Foundation): SQuAD와 HotpotQA를 결합한 대규모 데이터셋(32k 예시)으로 학습합니다. 이는 NIAH 스타일의 데이터(단일 사실 및 기본 멀티홉 검색)를 사용하여 일반적인 검색 기초를 확립합니다.
• 2단계 (확장 - Extension): 1단계 체크포인트로부터 MuSiQue 및 2WikiMultiHopQA를 포함하여 더 어려운 검색 패턴을 목표로 하는 데이터셋에서 연속 학습을 진행하며, 이때 1단계 데이터를 함께 재생(replay)하여 파괴적 망각을 방지합니다. 이 단계는 하위 질문 분해(데이터셋에서 제공하는 하위 질문을 쿼리에 명시적으로 포함)가 멀티홉 질문만 사용하는 경우와 비교하여 미치는 영향을 구체적으로 테스트합니다.

주요 기여

1. LongAttnComp 프레임워크: 토큰 단위 청킹, 토큰 예산 top-p 알고리즘, 위치 재정렬, 포맷 불가지론적 쿼리 파서를 특징으로 하는 롱 컨텍스트 추론용 모듈형 학습 가능 압축 프레임워크를 제시합니다.
2. 2단계 학습 레시피: 초기 검색 강점을 해치지 않으면서 압축기의 작업 커버리지를 확장하고 멀티홉 추론 능력을 강화하는 방법론을 제공합니다.
3. 실증적 검증:
   • LongAttnComp는 InfiniteBench Code-Debug에서 전체 컨텍스트 정확도와 일치하거나 이를 상회합니다.
   • 훈련이 필요 없는 베이스라인(예: Speculative Prefill)보다 성능이 월등히 높습니다.
   • 세 가지 다른 계열의 네 가지 대상 모델(DeepSeek, MiniMax, GPT-OSS)에 대해 재학습 없이 효과적으로 전이되는 교차 계열 일반화 능력을 보여줍니다.
   • 2단계 레시피는 멀티 문서 추론 작업(LongBench v2)에서의 성능 격차를 유의미하게 줄이는 동시에 코드 추론 성능을 보존합니다.

결과

• 코드 추론 (InfiniteBench Code-Debug): DeepSeek-R1-0528 대상 모델에서 1단계 압축기는 75.38%의 정확도를 달려 전체 컨텍스트 베이스라인(74.37%)과 훈련이 필요 없는 Speculative Prefill(62.44%)을 넘어섰습니다. 2단계(subq) 변형은 76.90%에 도달했습니다. 유사한 경향이 DeepSeek-V3.1, MiniMax-M2.5, GPT-OSS-120B에서도 관찰되었으며, LongAttnComp는 Speculative Prefill보다 7~31포인트 더 높은 성능을 일관되게 보여주었습니다.
• 멀티 문서 추론 (LongBench v2): 1단계는 자연스러운 추론을 위한 NIAH 스타일 학습 데이터의 한계로 인해 전체 컨텍스트 베이스라인보다 낮은 성능을 보였습니다. 2단계 학습은 1단계 대비 7~12포인트를 회복하여 Speculative Prefill을 능가하고 100k 절단된 전체 컨텍스트 베이스라인의 1.4포인트 이내로 접근했습니다.
• RULER 벤치마크: LongAttnComp는 "lost-in-the-middle" 효과를 겪는 하위 작업(예: 단일 니들 검색)에서 정확도를 회복했으나, 증거가 여러 위치에 분산된 작업(multi-value/multi-query)에서는 예상된 한계를 보였는데, 이는 학습 데이터 분포와 일치합니다.

의의 및 주장

본 논문은 압축에서의 작업 민감도가 모델의 구조적 한계가 아닌 학습 데이터의 구성에 반영됨을 입증한다고 주장합니다. 복잡한 추론 작업에서 관찰된 1단계의 성능 격차는 모델의 학습 능력 부족 때문이 아니라, 다양하고 자연스러운 학습 패턴의 부재 때문이었습니다. 2단계에서 멀티홉 및 자연스러운 데이터를 도입함으로써, 저자들은 단일 크로스 어텐션 구조가 복잡한 롱 컨텍스트 추론 작업을 처리하도록 확장될 수 있음을 보여주었습니다.

저자들은 압축기가 **대상 모델에 무관한 전처리 단계(target-agnostic preprocessing step)**로서 작동하며, 재학습 없이 서로 다른 모델 계열 간에 효과적으로 전이될 수 있음을 강조합니다. 또한, 추론 시 하이퍼파라미터(청크 크기, 선택 모드)는 작업에 따라 달라지므로, 향가 미래의 배포에는 미지의 작업 유형에 대한 적응형 메커니즘이 필요할 수 있다고 언급합니다. 마지막으로, LongAttnComp의 계산 오버헤드는 전체 백본 대신 드래프트 모델의 처음 13개 레이어만 사용하므로 Speculative Prefill의 약 1/3 수준이라고 밝히고 있습니다.