Improving Attributed Long-form Question Answering with Intent Awareness

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 방대한 양의 학술 논문과 보고서를 학습하여 지식 집약적인 장문 보고서를 생성하는 데 increasingly 활용되고 있습니다. 그러나 기존 모델들은 다음과 같은 한계를 가지고 있습니다.

• 생성 과정의 부재: 모델은 다양한 소스를 검색하고 내용을 요약하는 능력은 있으나, 저자가 문서를 작성할 때 따르는 **추론 과정 (reasoning processes) 과 의도 (intents)**를 학습하지 못했습니다.
• 의도 불명확성: 인간 저자는 각 문단과 인용문 (citation) 에 명확한 목적 (예: 배경 설명, 주장 지지, 대조 등) 을 가지고 글을 쓰지만, 최종 텍스트에는 이러한 '의도'가 명시적으로 드러나지 않습니다.
• 품질 저하: 이로 인해 생성된 보고서의 논리적 구조가 약하거나, 인용된 출처가 주장과 얼마나 관련 있는지 (attribution quality) 에 대한 신뢰도가 낮아질 수 있습니다.

2. 방법론 (Methodology)

저자는 인간의 작성 과정 (sensemaking 및 writing) 에서 영감을 받아 **의도 인식 (Intent Awareness)**을 도입한 새로운 프레임워크를 제안합니다. 이 프레임워크는 텍스트 생성 시 명시적인 '의도 태그'와 '근거 (rationale)'를 포함하도록 설계되었습니다.

2.1 의도 인식 작성 프레임워크 (Intent-Aware Writing Framework)

두 가지 수준의 의도를 구조화된 태그 기반 스키마로 표현합니다:

1. 문단 의도 (Paragraph Intents): 각 문단의 전체적인 기능과 목적을 정의합니다. (예: Exposition, Definition, Argumentation, Compare-Contrast, Cause-Effect 등)
2. 인용 의도 (Citation Intents): 특정 문장에서 특정 인용문을 사용하는 구체적인 이유를 정의합니다. (예: Background, Motivation, Uses, Extension, Comparison, Future work 등)

• 표현 방식: <begin intent> [의도 유형] 근거 <end intent> 형식의 인라인 태그를 사용하여 텍스트 내에 의도를 명시합니다.
  • 예: <bpit>[PIT-Cause-Effect] 예상치 못한 결과가 연구 방향 변경으로 이어질 수 있음을 설명합니다. <epit> ... <bcit>[CIT-Motivation] ... <ecit>

2.2 추론 및 학습 단계 적용

• 추론 시 (Inference): 모델에게 장문 보고서 생성 시 위와 같은 의도 태그를 포함하도록 프롬프트를 구성합니다 (Verbalized Intents). 이는 테스트 시간 확장 (Test-time scaling) 전략의 일종입니다.
• 학습 시 (Training):
  1. 교사 모델 (Teacher Model): 대형 모델 (Gemini-2.5-pro 등) 을 사용하여 의도 태그가 포함된 고품질 합성 데이터를 생성합니다.
  2. 학생 모델 (Student Model) SFT: 생성된 데이터를 기반으로 소형 모델 (Qwen, Llama 등) 을 미세 조정 (SFT) 합니다.
     • Intent-Explicit: 의도 태그를 유지하며 학습.
     • Intent-Implicit: 학습 시 태그는 제거하지만, 의도 인식 데이터로 학습.
     • Intent-Multiview: 의도 유형 (문단/인용) 을 분리하거나 결합한 다양한 뷰 (view) 로 데이터를 분해하여 학습 복잡도를 낮추고 일반화 능력을 향상시킴.

3. 주요 기여 (Key Contributions)

1. 의도 인식 프레임워크 제안: 장문 생성 작업에서 문단 및 인용 수준의 명시적 의도 태그를 도입하여 모델의 추론 과정을 구조화했습니다.
2. 성능 향상 및 증류 (Distillation): 의도 인식을 통해 대형 모델의 성능을 개선하고, 이를 통해 생성된 데이터로 소형 모델을 학습시켜 대형 모델 수준의 성능을 달성하게 했습니다.
3. 새로운 분석 도구: 의도 분포를 분석하여 인간과 모델의 작성 패턴 차이 (예: 인간은 대조/비교를 더 많이 사용함) 를 발견하고, 모델의 인용 행동을 진단할 수 있는 도구를 제공했습니다.
4. 사용자 연구: 의도 태그가 독자의 이해도와 가독성을 높이며, 불필요한 정보 탐색을 줄여준다는 것을 실증했습니다.

4. 실험 결과 (Results)

세 가지 주요 벤치마크 (SQA-CS-V2, DeepScholar Bench, ResearchQA) 에서 실험을 수행했습니다.

• 대형 모델 성능 향상: 추론 시 의도 인식을 적용한 결과, 대형 상용 모델 (o3, Gemini-2.5-pro, Claude Opus) 의 평균 성능이 2.9 포인트 향상되었습니다. 특히 인용 정밀도 (Citation Precision) 와 재현율 (Recall) 이 크게 개선되었습니다.
• 소형 모델의 비약적 발전: 의도 인식 기반 SFT 를 적용한 소형 모델 (8B 파라미터) 은 12.3 포인트의 절대적 성능 향상을 보였으며, 일부 변형은 Gemini-2.5-pro 와 같은 최상위 대형 모델의 성능을 능가했습니다.
• 인용 행동 변화: 의도 인식을 통해 모델이 검색된 정보 (retrieved candidates) 를 더 많이 활용하게 되었고, 대형 모델과 인용 출처의 겹침 (overlap) 이 증가하여 더 신뢰할 수 있는 근거를 제시하게 되었습니다.
• 사용자 연구 결과: 20 명의 참가자를 대상으로 한 연구에서, 의도 태그가 포함된 보고서는 독자가 문단과 인용문의 관련성을 파악하는 데 도움을 주어 가독성과 투명성을 크게 향상시켰습니다 (리커트 척도 4.47/5 vs 기저선 3.84/5).

5. 의의 및 결론 (Significance & Conclusion)

• 생성 과정의 모방: 이 연구는 단순히 텍스트 스타일을 모방하는 것을 넘어, 인간 저자의 사고 과정 (thought process) 과 의도를 모델링함으로써 LLM 의 장문 생성 능력을 획기적으로 개선할 수 있음을 증명했습니다.
• 신뢰성 있는 AI: 과학적 연구 및 장문 보고서 작성과 같이 사실성과 출처 attribution 이 중요한 분야에서, 모델이 "왜 이 정보를 인용했는지"를 명시함으로써 신뢰할 수 있는 AI 시스템을 구축하는 데 기여합니다.
• 향후 연구 방향: 의도 스키마를 다양한 도메인 (법률, 정책 등) 으로 확장하고, 인간 작성 로그를 기반으로 더 정교한 계층적 의도 구조를 학습하는 것이 향후 과제로 제시되었습니다.

요약하자면, 이 논문은 LLM 이 장문 보고서를 작성할 때 '무엇을' 쓰는지에 집중하는 것을 넘어 '왜' 그렇게 쓰는지 (의도) 를 명시적으로 모델링함으로써, 생성된 콘텐츠의 질, 신뢰성, 그리고 가독성을 동시에 향상시킬 수 있다는 것을 입증한 중요한 연구입니다.