기술 요약: 블랙박스 LLM을 위한 재사용 가능한 프롬프트 압축을 위한 그래프 인식 강화 학습

문제 정의

대규모 언어 모델(LLM)은 수학적 추론 및 코드 생성과 같은 복잡한 작업을 수행하기 위해 지침, 작업 예시, 제약 조건, 공식 및 출력 형식 규칙을 포함하는 길고 재사용 가능한 추론 컨텍스트에 점점 더 의존하고 있습니다. 이러한 컨텍스트는 성능을 향고시키지만, 수많은 사용자 쿼리에 대해 반복적으로 사용될 때 입력 토큰, 추론 지연 시간 및 컨텍스트 창 사용량 측면에서 상당한 비용을 발생시킵니다.

기존의 압축 방식은 블랙박스 LLM 환경(예: 상용 API)에서 다음과 같은 결정적인 한계에 직면합니다:

• 절단(Truncation) 및 요약(Summarization): 이는 논리적으로 필요한 정보를 제거하거나 내용을 재작성하여, 환각(hallucination)을 유발하거나 해석 가능성을 손실할 위험이 있습니다.
• 내부 신호 의존성: 많은 방식이 그래디언트(gradients), 로짓(logits) 또는 어텐션 점수(attention scores)에 의존하지만, 이는 폐쇄형 모델에서는 접근이 불가능합니다.
• 토큰 단위 vs 단위(Unit) 단위: 토큰 단위 압축은 방정식, 코드 구문 또는 논리적 의존성을 깨뜨릴 수 있습니다.
• 태스크 인지 능력 부족: 유사도 기반 접근 방식은 의미적으로는 관련이 있지만 논리적으로는 중복된 단위를 유지하는 반면, 필수적인 제약 조건은 버릴 수 있습니다.

핵심 과제는 내부 모델 파라미터에 대한 접근 없이도, 정확성을 위한 기능적 정보를 보존하면서 토큰 수를 최소화하도록 설계된, 엄격히 블랙박스로 작동하는 추출적이고 태스크 인지적인 압축 프레임워크를 구축하는 것입니다.

방법론

저자들은 근사 정책 최적화(Proximal Policy Optimization, PPO)를 활용하는 그래프 인식 강화 학습(Graph-Aware Reinforcement Learning, RL) 프레임워크를 제안합니다. 이 방법은 재사용 가능한 추론 컨텍스트를 하나의 그래프로 취급하며, 추론 단위에 대해 "유지 또는 삭제" 결정을 내리는 정책을 학습합니다.

1. 문제 정식화

• 템플릿 수준 압축: 시스템은 다양한 태스크별 쿼리($x$)와 쌍을 이루는 고정된 재사용 가능한 컨텍스트($C$)를 최적화합니다. 목표는 쿼리마다 압축하는 것이 아니라, 배포 시 고정되어 사용할 수 있는 압축된 컨텍스트 $C'(z)$를 학습하는 것입니다.
• 블랙박스 설정: 대상 LLM은 고정된 환경 $F$로 취급됩니다. 압축기는 입력-출력 쌍만을 관찰하고 태스크 수준의 보상을 받으며, 내부 신호는 사용하지 않습니다.
• 단위 수준 세분화: 컨텍스트는 토큰이 아닌 의미적으로 완전한 단위(예: 특정 예시, 제약 조건, 공식)로 분할됩니다. 이는 구문 및 논리적 무결성을 보존하기 위함입니다.

2. 그래프 구조 표현

재사용 가능한 컨텍스트는 그래프 $G_C = (V_C, E_C, W_C)$로 모델링됩니다:

• 노드(Nodes): 추론 단위를 나타냅니다.
• 엣지(Edges): 의미적 유사성, 위치적 근접성, 단위 유형 관계, 명시적 의존성의 네 가지 관계를 인코딩합니다.
• 노드 특징(Node Features): 각 단위는 로컬 특징과 태스크 분포 인지 특징(훈련 쿼리 분포에 대한 평균/최대 유사도)을 사용하여 임베딩되며, 이를 통해 정책이 쿼리별 관련성이 아닌 일반적인 유용성을 학습하도록 합니다.

3. 정책 및 최적화

• 정책 네트워크: 그래프 어텐션 네트워크(Graph Attention Network, GAT) 인코더가 그래프를 처리하여 맥락화된 단위 표현을 생성합니다. 정책 헤드는 각 단위에 대한 유지 확률을 출력합니다.
• 행동 공간(Action Space): 어떤 단위를 유지할지 결정하는 이진 마스크($z \in \{0, 1\}^M$)입니다. 필수 단위(예: 주요 지침, 출력 구분자)는 반드시 유지되도록 강제됩니다.
• 보상 함수: 다음 네 가지 목적의 균형을 맞춥니다:
  1. 정확성(Correctness): 쿼리 배치에 대한 태스크 성능(예: 정답 일치, 유닛 테스트 통과).
  2. 압축(Compression): 제거된 토큰의 비율.
  3. 저하 제어(Degradation Control): 정확도 손실이 임계값 $\epsilon$을 초과할 경우 부여되는 페널티.
  4. 구조적 일관성(Structural Coherence): 강하게 연결된 단위들이 일관성 없게 유지되거나 삭제되는 파편화된 선택에 대한 페널티($\Omega$).
• 알고리즘: 블랙박스 LLM 평가에서 흔히 발생하는 희소하고 노이즈가 많은 보상에 대응하여 학습을 안정화하기 위해 PPO를 사용합니다.

4. 배포

배포 시, 확률적 정책은 학습된 유지 확률과 단위 길이에 기반한 결정론적 그리디(greedy) 선택으로 대체됩니다. 결과적으로 압축된 컨텍스트는 캐싱되어 향후 모든 쿼리에 재사용되며, 이를 통해 반복적인 추론 절감 효과를 얻어 오프라인 학습 비용을 회수합니다.

주요 기여

1. 태스크 인지적 RL 정식화: 재사용 가능한 추론 컨텍스트 압축을 블랙박스 기반의 태스크 인지적 RL 문제로 정식화하여, 단순한 토큰 감소가 아닌 다운스트림 정확도를 최적화함으로써 기존 연구를 확장하고, 특히 재사용 가능한 템플릿과 그래프 구조의 의존성에 집중했습니다.
2. 그래프 기반 표현: 단순한 유사도 메트릭이 놓칠 수 있는 지침, 예시, 제약 조건 간의 논리적 의존성을 포착하여 구조적 파편화를 방지하는 그래프 모델을 도입했습니다.
3. 추출적 PPO 정책: 내용을 재작성하거나 내부 모델 접근을 요구하지 않고 유지/삭제 결정을 학습하는 이산적 추출 압축 정책을 통해 해석 가능성과 API 호환성을 보장합니다.
4. 포괄적 평가: 수학적 추론(GSM8K, MATH) 및 코드 생성(MBPP, HumanEval)에 대한 광범위한 벤치마킹을 통해 효율성과 정확성 사이의 강력한 균형을 입증했습니다.
5. 구성 요소 분석: 그래프 모델링, 정확도 기반 보상, 그리고 PPO 최적화의 필요성을 검증하는 상세한 어블레이션 연구(ablation studies)를 수행했습니다.

실험 결과

GSM8K, MATH, MBPP, HumanEval에 대해 GPT-4o-mini를 주요 대상 모델로 실험을 진행하였으며, Claude 3.5 Sonnet 및 Llama-3.1-70B-Instruct에 대한 교차 모델 전이 테스트를 실시했습니다.

• 압축 효율성: 제안된 방법은 재사용 가능한 추론 컨텍스트에서 52.6%의 압축률을 달성했습니다.
• 비용 절감: 이는 추정 40.3%의 입력 토큰 비용 감소와 상당한 지연 시간 단축을 가져왔습니다.
• 정확도 보존: 정확도 저하는 전체 컨텍스트 베이스라인 대비 1.0 퍼센티지 포인트(pp) 이내로 제한되었습니다. 이는 정적 절단(8.4 pp 손실) 및 유사도 기반 선택(5.2 pp 손실)과 같은 베이스라인보다 크게 우수한 성능입니다.
• 강건성: 제안된 방법은 다양한 압축 예산(최대 25% 유지까지)에서도 휴리스틱 및 다른 RL 기반 베이스라인에 비해 뛰어난 안정성을 보여주었습니다.
• 교차 모델 전이: 미세 조정 없이 보지 못한 모델에 적용했을 때도 압축된 컨텍스트는 높은 성능을 유지했으며, 정확도 손실은 각각 1.8 pp(Claude)와 2.7 pp(Llama)로 나타나 학습된 정책이 일반적인 추론 패턴을 포착하고 있음을 보여주었습니다.

의의 및 주장

본 논문은 추론 중심 애플리케이션을 위한 효과적인 프롬프트 압축은 단순한 토큰 감소보다 기능적 필요성을 우선시해야 한다고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 그래프 인식 모델링은 단순한 유사도 메트릭이 놓치는 지침, 예시, 제약 조건 사이의 논리적 의존성을 보존하는 데 필수적입니다.
• 태스크 수준의 피드백(정확도)은 출력 유사도나 퍼플렉서티(perplexity)보다 우월한 보상 신호이며, 이는 압축을 태스크 해결이라는 목표에 직접적으로 정렬시킵니다.
• 블랙박스 호환성은 성능 저하 없이 달성 가능하며, 이는 내부 신호를 사용할 수 없는 상용 API 기반 LLM 시스템에서 이 접근 방식이 실용적임을 의미합니다.
• 재사용 가능한 컨텍스트 최적화는 뚜렷한 경제적 이점을 제공합니다. 학습에는 오프라인 블랙박스 호출이 필요하지만, 결과물인 압축된 템플릿은 수많은 쿼리에 재사용될 때 누적된 비용 절감을 제공하므로 교육 도구, 코딩 어시스턴트, 기술 지원 시스템 등에 이상적입니다.

결론적으로, 본 연구는 압축이 위험(예: 숨겨진 제약 조건의 제거)을 수반할 수 있지만, 제안된 프레임워크는 구조적 정규화와 저하 제어를 통해 이를 완화하며, 추론 품질을 유지하면서 추론 비용을 줄일 수 있는 실질적인 경로을 제시합니다.