기술 요약: 문서 수준 텍스트 단순화를 위한 예시 가이드 프롬프팅 (Example-Guided Prompting)

문제 정의

문서 수준의 텍스트 단순화는 대규모 언어 모델(LLM)에 있어 중요한 과제입니다. 국소적인 변환에 집중하는 문장 수준의 재작성과 달리, 문서 수준의 단순화는 전체 텍스트 전반에 걸쳐 담화 일관성, 의미적 충실도, 그리고 일관된 가독성을 유지하기 위해 여러 문장에 걸친 조율된 변화를 요구합니다. 프롬프트 기반의 LLM은 미세 조정(fine-tuning)이 필요 없는 유연한 대안을 제공하지만, 복잡한 문서 수준의 변환에는 종종 어려움을 겪습니다. 텍스트 지침에만 의존하는 것은 지침만으로는 요구되는 미묘한 구조적 및 스타일적 변화를 안내하기에 불충분하여, 단순화 품질의 불일치를 초래할 수 있습니다.

RAG(Retrieval-Augmented Generation)와 같은 기존 방식은 일반적으로 사실적 지식이나 외부 컨텍스트를 제공하기 위해 검색된 문서를 활용합니다. 그러나 문서 단순화는 추가적인 사실 정보가 아니라, 텍스트를 어떻게 변환할지에 대한 가이드를 필요로 합니다. 여기에는 특정 작업에 대한 미세 조정 없이 문서 수준의 단순화를 위한 변환 패턴을 제공하기 위해 검색을 활용하는 데에 공백이 존재합니다.

방법론: 예시 가이드 프롬프팅 (EGP)

저자들은 표준 프롬프트에 검색된 문서 단순화 예시를 보강하도록 설계된 추론 시점 프레임워크인 **예시 가이드 프롬프팅(Example-Guided Prompting, EGP)**을 제안합니다.

핵심 메커니즘

1. 검색(Retrieval): 복잡한 입력 문서가 주어지면, 시스템은 병렬 단순화 코퍼스에서 의미적으로 가장 유사한 상위-$k$개(여기서 $k=3$)의 문서-단순화 쌍을 검색합니다. 이 검색에는 밀집 임베딩(dense embeddings)과 코사인 유사도가 사용됩니다.
2. 증강(Augmentation): 검색된 예시들은 대상 문서 및 텍스트 지침과 함께 프롬프트에 포함됩니다.
3. 생성(Generation): LLM은 이 풍부해진 프롬프트를 처리하며, 검색된 예시를 활용하여 유사한 맥락에서 관찰된 관련 단순화 패턴을 식별하고 적용합니다.
4. 제약(Constraint): 데이터 누출을 방방지하기 위해 평가 대상 입력 문서는 검색 풀에서 명시적으로 제외됩니다.

실험 설정

• 데이터셋: OneStopEnglish 코퍼스(Vajjala와 Lučič, 2018), 특히 고급-초급 단계의 단순화 설정을 사용했습니다.
• 모델: 다섯 가지 최첨단 LLM을 평가했습니다: GPT-4o-mini, Claude Haiku 4.5, Gemini 2.0 Flash, Sonar, Llama 3.2.
• 베이스라인:
  • 프롬프트 전용(Prompt-only): 사전 실험에서 가장 높은 SARI 점수를 기록한 제약 기반 프롬프팅 전략이 베이스라인으로 선택되었습니다.
  • 지도 학습/계획 기반(Supervised/Planning): T5(Raffel 외, 2020) 및 계획 기반 시스템인 PlanSimp(Cripwell 외, 2023)와 비교하였습니다.
• 평가 지표:
  • 단순화 품질: SARI (Xu 외, 2016).
  • 의미 보존: BERTScore (Zhang 외, 2019) 및 LENS (Maddela 외, 2023).
  • 가독성: Flesch Reading Ease (FRE) 및 Flesch-Kincaid Grade Level (FKGL).

주요 결과

실험 결과, EGP는 대부분의 모델에서 프롬프트 전용 생성 성능을 일관되게 향상시켰으며, 전문화된 지도 학습 시스템과 대등하거나 더 우수한 성능을 달성했습니다.

• 성능 향상: 검색된 예시를 포함하는 것은 평가된 다섯 가지 LLM 중 네 가지 모델에서 단순화 품질(SARI)을 개선했습니다.
  • Claude Haiku 4.5는 SARI를 40.78에서 44.84로 높이며 가장 유의미한 개선을 보였고, 의미 보존(BERTScore 및 LENS) 또한 향상시켰습니다.
  • Gemini 2.0 Flash와 Sonar 역시 일관된 이득을 보여주었습니다.
  • GPT-4o-mini는 작지만 일관된 개선을 보였습니다.
  • Llama 3.2는 예외적으로, 모든 지표에서 눈에 띄는 성능 저하를 경험하였는데, 이는 모든 LLM이 검색된 예시를 효과적으로 통합할 수 있는 것은 아님을 시사합니다.
• 베이스라인과의 비교: EGP 모델은 일반적으로 전문화된 T5 및 PlanSimp 시스템보다 우수하거나 대등한 성능을 보였습니다.
  • Claude Haiku 4.5 + EGP는 PlanSimp(42.02)와 T5(30.0)를 능가하는 가장 높은 SARI 점수(44.84)를 달성했습니다.
  • 의미 보존 측면에서 GPT-4o-mini와 Claude Haiku 4.5는 LENS에서 T5와 PlanSimp를 크게 앞질렀으며, 계획 기반 베이스라인보다 20포인트 이상 높은 성능을 보였습니다.
• 트레이드오프(Trade-offs): 가독성과 의미 보존 사이의 뚜렷한 트레이드오프가 관찰되었습니다. EGP는 의미 중심 지표(BERTScore, LENS)에서는 일관되게 개선을 보였으나, 가독성 지표(FKGL, FRE)에서 항상 가장 큰 이득을 가져온 것은 아니었습니다. 검색된 예시는 원본 문서의 구조와 의미에 더 가깝게 유지되는 "보수적인" 단순화를 유도하며, 공격적인 가독성 감소보다는 충실도를 우선시하는 것으로 보입니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 합니다:

1. EGP 제안: 문서 수준 텍스트 단순화를 위한 새로운 추론 시점 접근 방식으로서 예시 가이드 프롬프팅(EGP)을 제안했습니다. 전통적인 RAG가 사실적 근거를 제공하는 것과 달리, EGP는 변환 가이드를 제공하기 위해 검색을 활용하며, 이를 통해 LLM이 특정 작업에 대한 미세 조정 없이도 단순화 패턴을 활용할 수 있게 합니다.
2. 실증적 검증: EGP가 여러 최첨단 LLM에 걸쳐 프롬프트 전용 생성을 일관되게 향상시킨다는 것을 입증했습니다. 결과는 이러한 검색 기반 접근 방식이 단순화 작업에 특화된 학습 데이터 없이도 대표적인 지도 학습(T5) 및 계획 기반(PlanSimp) 시스템과 경쟁하거나 이를 능가하는 성능을 낼 수 있음을 보여줍니다.
3. 모델 의존성 분석: 예시 가이드 프롬프팅의 효능이 기초가 되는 LLM에 따라 크게 달라진다는 점을 확인했습니다. 본 연구는 검색된 예시의 성공적인 통합이 보장되지 않으며, 이는 생성 과정에서 문맥 정보를 활용하는 모델의 특정 능력에 달려 있음을 강조합니다. 이 발견은 검색 품질만으로는 충분하지 않으며, 향후 연구를 위한 핵심 요소로서 모델의 구조적 또는 훈련적 특성을 지목합니다.

저자들은 검색된 예시가 사실적 정보를 제공하기보다 변환 가이드를 통해 텍스트 생성을 제어하는 효과적인 메커니즘 역할을 한다고 결론짓습니다. 이러한 관점은 텍스트 단순화를 넘어, 예시가 사실적 정보가 아닌 바람직한 변환을 설명하는 다른 제어된 생성 작업에도 적용될 수 있습니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 데이터셋 범위: 실험은 OneStopEnglish 코퍼스(영어 교육 뉴스)로 제한되었으며, 다른 도메인, 언어 또는 스타일에 대한 일반화 가능성은 검증되지 않았습니다.
• 평가 지표: 일관성, 사실적 일치성 또는 청중 적합성을 완전히 포착하지 못할 수 있는 자동 지표(SARI, BERTScore 등)에 의존했습니다.
• 검색 구성: 연구에는 단일한 검색 구성과 코퍼스가 사용되었습니다. 검색 전략, 코퍼스 크기 또는 유사도 측정 방식의 변화는 결과에 영향을 미칠 수 있습니다.
• 모델 가변성: Llama 3.2에서 관찰된 상당한 성능 저하는 이 방법이 모든 LLM 아키텍처에 보편적으로 효과적인 것은 아님을 나타내며, 왜 일부 모델이 예시를 더 잘 통합하는지에 대한 추가 조사가 필요함을 시사합니다.