Mapping the Course for Prompt-based Structured Prediction

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 미세 조정 (fine-tuning) 없이도 다양한 자연어 처리 (NLP) 작업에서 뛰어난 성능을 보여주지만, **할루시네이션 (hallucination)**과 일관성 부재에 취약하며 복잡한 추론 작업에서는 어려움을 겪습니다. 특히 구조적 예측 (Structured Prediction) 작업 (예: 문장 내 개체 간의 관계, 도덕적 프레임, 코어퍼런스 등) 에서 이러한 한계가 두드러집니다.

기존의 프롬프트 기반 접근법은 LLM 을 사용하여 구조의 각 구성 요소를 독립적으로 예측하거나, 전체 구조를 토큰 시퀀스로 한 번에 생성하는 방식을 취합니다. 그러나 이러한 방식은 자동 회귀 (autoregressive) 생성의 한계로 인해 예측된 구조가 논리적 제약 (예: 전이성, 상호 배타성) 을 위반할 가능성이 높습니다. 즉, LLM 은 구조적 일관성을 강제할 수 있는 메커니즘이 부족합니다.

2. 방법론 (Methodology)

저자들은 LLM 의 예측 능력과 **조합적 추론 (combinatorial inference)**의 구조적 일관성 강점을 결합하여 문제를 해결하는 프레임워크를 제안합니다.

핵심 프레임워크

• LLM 기반 인자 그래프 (Factor Graph): 각 구조적 예측 작업을 LLM 기반의 인자 그래프로 정의합니다.
• 점수 산출 (Scoring): LLM 을 프롬프팅하여 각 하위 구조 (candidate substructures) 에 대한 점수 (신뢰도) 를 추출합니다.
• 제약 조건 만족 최적화: 추출된 점수를 기반으로 **정수 선형 계획법 (Integer Linear Programming, ILP)**을 사용하여 전역 최적 구조를 찾습니다. 이 과정에서 구조적 제약 조건 (예: "A 와 B 가 동일 개체이고 B 와 C 가 동일 개체이면 A 와 C 도 동일해야 함") 을 엄격하게 적용합니다.

주요 연구 요소

1. 신뢰도 추정 전략 (Confidence Estimation Strategies):
   LLM 이 생성한 텍스트로부터 구조적 추론에 사용할 확률 점수를 어떻게 도출할지 비교 분석했습니다.

   • White-box (토큰 확률 접근): True/False 질문 형식, Multiple Choice, Generative Classification 등.
   • Black-box (텍스트 생성만 접근): Generation Sampling (일관성 기반), Verbalized Confidence (모델이 직접 신뢰도 수치 출력).
   • 결과: True/False 질문 형식이 가장 효과적인 신뢰도 추정 전략으로 나타났습니다.

2. 학습 및 조정 전략 (Learning & Calibration):

   • Few-shot Score Calibration: LLM 점수 위에 로지스틱 회귀 계층을 추가하여 구조적 목적 함수에 맞게 점수를 조정합니다. (국소적 조정 vs 전역적 조정)
   • Local Fine-tuning: 개별 하위 작업에 대해 LLM 을 미세 조정합니다.
   • Global Fine-tuning: **전역 구조적 예측 목적 함수 (Structured Hinge Loss)**를 사용하여 LLM 자체를 미세 조정합니다. 이는 개별 예측의 합이 아닌, 전체 구조의 일관성을 최적화하도록 모델을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 구조적 추론의 통합: 프롬프트 기반 예측에 조합적 추론 (ILP) 을 통합하여, 프롬프트만 사용하는 경우보다 일관성 있고 정확한 예측을 가능하게 함을 입증했습니다.
2. 신뢰도 추정 전략 비교: 다양한 프롬프트 전략 (True/False, Multiple Choice 등) 을 체계적으로 비교하여, True/False 질문 형식이 구조적 추론에 가장 적합한 신뢰도 점수를 제공함을 발견했습니다.
3. 전역 학습의 효과: 개별 하위 작업에 대한 미세 조정 (Local Fine-tuning) 보다 **전역 구조적 목적 함수를 이용한 미세 조정 (Global Fine-tuning)**이 훨씬 더 우수한 성능을 보임을 입증했습니다. 이는 LLM 시대에 구조적 학습 (Structured Learning) 이 여전히 가치가 있음을 보여줍니다.
4. 포괄적인 실험: 도덕적 프레임 (Morality Framing) 과 코어퍼런스 해결 (Coreference Resolution) 과 같은 복잡한 담화 수준의 작업에서 광범위한 실험을 수행했습니다.

4. 실험 결과 (Results)

두 가지 주요 작업 (Morality Framing, Coreference Resolution) 에서 다음과 같은 결과를 도출했습니다.

• 추론의 효과: 어떤 신뢰도 추정 전략을 사용하든, 구조적 추론 (Constraints) 을 적용한 경우가 프롬프트만 사용한 경우보다 성능 (F1 점수) 이 크게 향상되었습니다.
  • 예: Morality Framing 작업에서 Llama-8B 모델의 경우, 프롬프트만 사용한 경우보다 제약 조건을 적용한 경우 전역 F1 이 약 0.52 에서 0.65 로 향상되었습니다.
• 최고 성능 전략:
  • 신뢰도 추정: True/False 질문 형식이 가장 높은 성능을 보였습니다.
  • 학습 방식: Local Fine-tuning + Global Fine-tuning 조합이 기존 SOTA(State-of-the-Art) 방법론 (Roy et al., 2021) 과 기존 프롬프트 기반 방법론을 모두 능가하는 최고 성능을 기록했습니다.
• 모델 크기 영향: Llama-70B 와 같은 초대규모 모델도 사용되었으나, 작은 모델 (8B) 에 비해 특정 전략 (True/False, Multiple Choice) 에서 오히려 성능이 낮거나 유사한 경향을 보였습니다. 이는 초대규모 모델이 복잡한 지시 추종에 특화되어 있어 단순한 분류 태스크에서는 오히려 과적합되거나 불필요한 복잡성을 유발할 수 있음을 시사합니다.
• 데이터 효율성: 제약 조건을 학습 과정이나 예측 과정에 포함시킬 경우, 적은 양의 학습 데이터 (약 20%) 로도 모델이 빠르게 수렴하는 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 시대에 **구조적 예측 (Structured Prediction)**을 수행할 때, LLM 의 강력한 생성 능력을 **전통적인 추론 알고리즘 (ILP)**과 결합하는 것이 필수적임을 강조합니다.

• 일관성 보장: LLM 의 할루시네이션과 논리적 모순을 구조적 제약 조건을 통해 해결할 수 있습니다.
• 학습의 중요성: 단순히 프롬프트만 사용하는 것을 넘어, 구조적 목적 함수를 통해 LLM 을 미세 조정하는 것이 복잡한 NLP 작업에서 필수적입니다.
• 미래 방향: 다중 에이전트 워크플로우와 같은 상호 의존성이 존재하지만 하위 작업이 개방형인 환경에서도 이러한 통찰이 적용될 수 있음을 제시합니다.

결론적으로, 이 연구는 LLM 을 단순히 "지식 저장소"로만 사용하는 것을 넘어, 추론 엔진과 결합된 하이브리드 시스템으로서의 LLM 활용 가능성을 제시하며, 구조적 일관성을 확보하는 것이 복잡한 NLP 태스크의 성능 향상에 결정적임을 증명했습니다.