1. 문제 정의 (Problem)

현재의 대규모 언어 모델 (LLM) 은 거의 모든 프롬프트에 대해 응답하려 하지만, 지식이나 추론 능력이 부족할 때 잘못된 정보를 생성하는 할루시네이션 (Hallucination) 문제가 발생합니다. 이는 의료, 법률 등 고위험 분야에서 치명적인 결과를 초래할 수 있습니다. 기존 방법들은 모델이 모든 질문에 답하도록 훈련하거나, 추론 시점에 추가적인 계산 (Post-processing) 을 요구하는 경우가 많았습니다. HALT 는 모델이 자신의 능력 범위 내에서만 신뢰할 수 있는 정보를 생성하고, 불확실한 경우에는 (부분적으로) 응답을 중단하거나 "불확실함"을 명시하도록 하는 새로운 패러다임을 제안합니다.

2. 방법론 (Methodology: HALT)

HALT 는 능력 정렬 (Capability-Aligned) 후학습 (Finetuning) 을 통해 LLM 이 자신의 내부 신뢰도에 기반하여 응답을 생성하도록 훈련합니다. 주요 프로세스는 다음과 같습니다.

• 데이터 생성 파이프라인:

  1. 초기 응답 생성: 사전 학습된 LLM 을 사용하여 프롬프트에 대한 초기 응답을 Few-shot 프롬팅으로 생성합니다.
  2. 팩트 분할 (Fragmentation): 생성된 응답을 검증 가능한 사실 단위 (팩트 조각, Factual Fragments) 로 분할합니다.
     • 독립적 조각: 위키백과 식 정보 등 (예: "오바마의 개 이름은 Bo 였다").
     • 인과적 의존 조각: 수학 문제 풀이, 코드 등 논리적 순서가 중요한 경우.
  3. 정확도 평가 (Assessment): 평가자 LLM (Evaluator LLM, 예: Llama3-405B) 과 Ground Truth 정보를 사용하여 각 조각의 정확도를 판단합니다.
  4. HALT 응답 구성:
     • 독립적 조각: 잘못된 조각은 제거합니다.
     • 인과적 의존 조각: 첫 번째 오류가 발생한 시점부터 이후 모든 조각을 제거하고, 대신 "Unsure from here" (이곳부터는 불확실함) 라는 마커를 삽입합니다.

• 신뢰도 임계값 조절 (Trade-off Tuning):

  • 모델의 능력을 과소평가하거나 과대평가하는 정도를 조절하기 위해, 여러 번 샘플링된 초기 응답 중 특정 백분위수 (α-percentile) 의 응답을 선택하여 학습 데이터를 구성합니다.
  • 낮은 α (보수적): 가장 정확도가 낮은 응답을 기준으로 삼아, 오류를 최대한 배제하고 정확도를 극대화하되 응답의 완전성 (Completeness) 은 감소시킵니다.
  • 높은 α (적극적): 더 많은 정보를 포함시키되 정확도 리스크를 감수합니다.

• 학습 데이터: 이렇게 구성된 "능력 범위 내의 정확한 정보"와 "불확실한 부분의 명시"로 이루어진 데이터셋으로 LLM 을 후학습 (Finetuning) 합니다.

3. 주요 기여 (Key Contributions)

1. 할루시네이션 방지 및 신뢰성 향상: 모델이 자신의 능력 밖의 정보를 생성하는 것을 방지하고, 불확실한 부분에는 명시적으로 "Unsure"를 표시하도록 훈련합니다.
2. 완전성 vs 정확도 트레이드오프 제어: 사용자는 배포 시나리오에 따라 응답의 완전성 (Recall) 과 평균 정확도 (Precision) 사이의 균형을 조절할 수 있는 임계값을 설정할 수 있습니다.
3. 추론 문제 적용: 단순 지식 검색뿐만 아니라 수학, 코딩 등 복잡한 추론이 필요한 작업에서도 적용 가능합니다.
4. 테스트 시간 무부하 (No Test-Time Overhead): 추론 시 추가적인 계산이나 샘플링이 필요 없으며, 학습된 모델이 능력 범위 내에서 최선의 답변을 직접 생성합니다.
5. 다중 도메인 신뢰 모델 구축: 하나의 모델로 여러 도메인 (생물, 수학, 의학, 코딩) 에서 높은 정확도를 달성할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 평가 모델: Llama3-8B, Llama3-70B, Gemma2-9B, Mistral-7B 등 4 가지 오픈소스 모델.
• 평가 데이터셋: 위키백과 인물 전기 (Wikibios), 수학 문제 (MATH), 의학 질문 (MedExQA), 코딩 (APPS).
• 주요 성과:
  • 정확도 향상: HALT 로 미세 조정된 Llama3-70B 모델은 모든 4 개 도메인에서 평균 정확도가 51% 에서 87% 로 36%p 상승했습니다.
  • 완전성 유지: 정확도를 극대화하는 설정 (α=40%) 에서도 표준 후학습 대비 53% 의 응답 완전성을 유지했습니다.
  • F1 점수: 완전성과 정확도의 조화 평균인 F1 점수가 기존 방법 (FactTune, IDK 등) 대비 평균 4% 향상되었습니다.
  • 일반 지시 따르기: HALT 는 특정 도메인의 정확도 향상에도 불구하고, 일반적인 지시 따르기 능력 (AlpacaEval 기준) 을 저해하지 않았습니다.
  • Add-On HALT: 불확실한 조각을 삭제하는 대신 "Uncertain"으로 표시하여 사용자에게 완전한 응답을 제공하면서도 오류 가능성을 알리는 변형도 검증되었습니다.

5. 의의 및 결론 (Significance)

HALT 는 LLM 이 "모든 질문에 답해야 한다"는 강박에서 벗어나, **"자신이 무엇을 알고 무엇을 모르는지"**를 인식하고 행동하도록 만드는 중요한 전환점을 제시합니다.

• 실용성: 의료, 법률 등 오류가 치명적인 분야에서 LLM 의 신뢰성을 획기적으로 높일 수 있습니다.
• 효율성: 추론 시 추가적인 검증 단계 없이 학습된 모델 자체가 신뢰할 수 있는 응답을 생성하므로, 시스템 지연 시간을 줄일 수 있습니다.
• 이론적 통찰: 후학습 (Finetuning) 은 모델에 새로운 능력을 부여하는 것이 아니라, 사전 학습된 능력을 효과적으로 활용하는 법을 가르친다는 최근 연구 결과를 지지하며, 모델의 능력 한계를 넘어서는 학습 데이터를 제거함으로써 할루시네이션을 근본적으로 줄일 수 있음을 입증했습니다.

결론적으로 HALT 는 "덜 말하되 (Less Talk), 더 정확하게 (High Accuracy)"라는 원칙 하에, 신뢰할 수 있는 LLM 을 구축하기 위한 실용적이고 효과적인 프레임워크를 제공합니다.