[기술 요약] HiLight: Frozen LLM을 위한 증거 강조 학습 프레임워크

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 긴 문맥(Long-context)을 처리하는 능력이 향상되었으나, **정보의 밀도가 낮고 노이즈가 많은 상황(Low signal-to-noise ratio)**에서는 여전히 심각한 한계를 보입니다.

• 핵심 문제: 결정적인 증거(Decisive evidence)가 방대한 텍스트 속에 파묻혀 있을 경우, 모델이 이를 간과하는 현상(예: "Lost in the Middle" 효과)이 발생합니다.
• 기존 방식의 한계:
  • Hard Selection (Pruning): 관련 없는 부분을 삭제하면 문맥의 연결성(Connective context)이 끊겨 추론 능력이 저하됩니다.
  • Soft Selection (Summarization/Compression): 요약 과정에서 미세하지만 중요한 세부 정보가 손실될 위험이 있습니다.
  • Prompt Optimization (APO): 시스템 프롬프트를 최적화하는 방식은 모든 입력에 대해 동일한 정적 지침을 제공할 뿐, 각 인스턴스(Instance)마다 다른 증거 위치를 짚어주지는 못합니다.

2. 제안 방법론 (Methodology: HiLight)

본 논문은 **증거 선택(Evidence Selection)**과 **추론(Reasoning)**을 분리(Decoupling)하는 HiLight 프레임워크를 제안합니다.

A. 핵심 개념: Evidence Emphasis

HiLight는 입력을 압축하거나 재작성하는 대신, 원본 텍스트를 그대로 유지하면서 중요한 부분에만 최소한의 하이라이트 태그(예: <start_important> ... <end_important>)를 삽입합니다. 이를 통해 Solver(추론 모델)가 중요한 구간에 주의(Attention)를 기울이도록 유도합니다.

B. 시스템 구조

1. Emphasis Actor (경량 모델): 입력 문맥을 읽고 어느 부분이 중요한지 판단하여 하이라이트 태그를 삽입하는 역할을 합니다.
2. Frozen Solver (대형 모델): Actor가 만든 강조된 입력을 받아 최종 답안을 생성합니다. Solver는 가중치가 고정(Frozen)되어 있으며, API 형태의 모델(예: GPT-5 mini)도 사용할 수 있습니다.

C. 학습 알고리즘: Weakly Supervised RL

증거에 대한 정답 레이블(Ground-truth evidence labels)이 없는 상황을 해결하기 위해 **강화 학습(Reinforcement Learning)**을 사용합니다.

• 보상(Reward): Solver가 내놓은 최종 결과물이 정답과 얼마나 일치하는지(Task-specific reward, 예: F1, Accuracy, NDCG)를 보상으로 사용합니다.
• 최적화: Actor는 Solver의 내부 상태나 그래디언트에 접근할 필요 없이, 오직 Solver의 출력 결과(Reward)만을 보고 자신의 하이라이트 정책을 업데이트합니다. (Policy Gradient 방식 적용)
• 제약 조건: 하이라이트가 너무 많아지는 것을 방지하기 위해 **하이라이트 예산(Highlight Budget, $\gamma$)**을 설정하고, 이를 준수하도록 학습합니다.

3. 주요 기여 (Key Contributions)

1. Decoupling Framework: 증거 선택과 추론을 분리하여, 강력한 Solver의 능력을 훼손하지 않으면서도 노이즈를 효과적으로 제어합니다.
2. Non-destructive & Solver-compatible: 입력을 변형하지 않아 정보 손실이 없으며, Solver의 내부 구조를 몰라도 되는(Black-box compatible) 범용적인 구조를 가집니다.
3. Weakly Supervised Learning: 별도의 토큰 단위 증거 레이블 없이도 태스크 보상만으로 유의미한 증거를 찾아내는 법을 학습합니다.
4. Zero-shot Transferability: 특정 Solver로 학습된 Actor가 다른 크기나 계열의 Solver(심지어 API 기반 모델)에서도 성능 향상을 이끌어내는 높은 일반화 성능을 보입니다.

4. 실험 결과 (Results)

다양한 벤치마크(Sequential Recommendation, Multi-hop QA, Reading Comprehension, Biomedical QA)에서 실험을 진행했습니다.

• 성능 향상: 모든 태스크에서 기존의 강력한 프롬프트 최적화 기법(OPRO, DSPy, APE 등)보다 우수한 성능을 기록했습니다.
• 노이즈 강건성: 특히 증거가 매우 희소하고 노이즈가 많은 Amazon-Beauty(추천 시스템) 데이터셋에서 가장 큰 성능 향상(HR@10 기준 최대 +27.53%)을 보였습니다.
• 추론 유지: 단순히 중요 구간만 남기고 나머지를 삭제하는 'Pruning' 방식보다, 전체 문맥을 유지하며 강조만 하는 HiLight 방식이 복잡한 추론(Multi-hop QA)에서 훨씬 효과적이었습니다.
• 효율성: 학습 시 Solver 호출 횟수를 기존 RL 기반 방식(PRL 등) 대비 5~10배 절감하면서도 더 높은 정확도를 달립했습니다.

5. 의의 및 결론 (Significance)

HiLight는 **"LLM이 똑똑하더라도 긴 문맥 속에서 길을 잃을 수 있다"**는 문제를 해결하기 위해, 모델을 직접 수정하는 대신 입력 단계에서 주의를 집중시키는 '가이드'를 학습시키는 영리한 접근법을 제시했습니다.

이 방법론은 모델의 크기나 종류에 구애받지 않고 적용 가능하다는 점에서 실용성이 매우 높으며, 특히 데이터의 양은 방대하지만 핵심 정보는 극히 일부인 실제 산업 현장(개인화 추천, 법률/의료 문서 분석 등)의 LLM 워크플로우에 즉각적으로 적용 가능한 기술적 토대를 마련했습니다.