InfoGatherer: Principled Information Seeking via Evidence Retrieval and Strategic Questioning

이 논문은 법적 및 의료 분야에서 불완전한 정보와 모순된 증거를 Dempster-Shafer 이론 기반의 증거 네트워크로 체계적으로 통합하여, 기존 방법보다 더 적은 대화 횟수로 신뢰할 수 있는 의사결정을 지원하는 'InfoGatherer' 프레임워크를 제안합니다.

핵심

이 논문은 **"INFOGATHERER"**이라는 새로운 인공지능 (AI) 시스템을 소개합니다. 이 시스템은 의료나 법률 같은 중요하고 위험한 상황에서, 사용자가 불완전한 정보를 줄 때 어떻게 더 똑똑하게 질문을 하고 정확한 결론을 내는지 보여줍니다.

기존의 AI 는 "모르는 것도 아는 척"하거나, "무작정 질문을 많이 던져서" 사용자를 귀찮게 하는 경우가 많았습니다. 하지만 INFOGATHERER 는 수학적인 원리를 이용해 "무엇을 모르는지 정확히 파악하고, 가장 필요한 질문만 딱딱 던지는" 방식을 사용합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "아픈 환자"와 "초보 의사"

상상해 보세요. 병원에 한 환자가 와서 **"목이 아프고 기침이 나요"**라고만 말합니다.

• 기존의 AI (초보 의사):

  • "감기일까요? 알레르기일까요? 코로나일까요?"라고 막연하게 추측합니다.
  • 혹은 "혹시 미각이 변했나요? 열이 나나요? 코가 막히나요?"라고 무작정 질문을 쏟아부어 환자를 지치게 합니다.
  • 가장 큰 문제는 **"모르는 게 있는데도 확신 있는 답변"**을 내놓는다는 것입니다. (예: "아마 감기겠네요!"라고 말하지만, 사실은 코로나일 수도 있습니다.)

• INFOGATHERER (숙련된 전문의):

  • "목이 아프고 기침이 나요"라는 말만 듣고 바로 결론을 내리지 않습니다.
  • 대신, **의학적 가이드라인 (참고 자료)**을 펼쳐보며 "이 증상들이 알레르기, 독감, 코로나 중 어떤 것과 연결될 수 있을까?"를 구조화해서 생각합니다.
  • 그리고 **"가장 결정적인 단서"**가 무엇인지 계산합니다. (예: "미각이 변했는지 물어보는 게 가장 중요하겠군.")
  • 환자에게 딱 한 가지 질문만 던집니다. "미각이나 후각에 변화가 있나요?"
  • 환자의 답변을 듣고 다시 자료를 대조하며 결론을 내립니다.

2. INFOGATHERER 의 핵심 비법: "불확실성 지도"

이 시스템이 기존 AI 와 다른 점은 두 가지 강력한 무기를 쓴다는 것입니다.

① "모르는 것"을 인정하는 수학 ( Dempster-Shafer 이론)

일반적인 AI 는 확률을 계산할 때 "감기 60%, 독감 40%"처럼 무조건 100% 를 채워야 합니다. 하지만 실제 상황은 "아직 정보가 부족해서 알 수 없다"는 경우가 많습니다.

INFOGATHERER 는 Dempster-Shafer 이론이라는 수학적 도구를 씁니다. 이를 미스터리 해결책에 비유해 볼까요?

• 기존 AI: 범인이 A 일 확률 50%, B 일 확률 50% 라고 딱 잘라 말합니다. (하지만 사실은 C 일 수도 있는데 모릅니다.)
• INFOGATHERER: "범인이 A 일 수도 있고, B 일 수도 있고, 아직 정보가 부족해서 C 일 가능성도 완전히 배제할 수 없다"라고 정직하게 표현합니다.
• 이 방식은 AI 가 "아직 모르겠다"는 상태를 수학적으로 인정하게 만들어, 엉뚱한 결론을 내리는 것을 막아줍니다.

② "외부 자료"를 믿는 신뢰도 (Document Grounding)

기존 AI 는 자신의 머릿속 지식 (학습 데이터) 만 믿고 질문을 만듭니다. 하지만 그 지식이 오래되었거나 틀릴 수 있습니다.

INFOGATHERER 는 실시간으로 신뢰할 수 있는 문서 (의료 가이드라인, 법률 조문 등) 를 찾아보며 질문을 만듭니다.

• 마치 수사관이 자신의 직감만 믿지 않고, 현장 증거와 법전을 계속 확인하며 질문을 던지는 것과 같습니다.
• 그래서 "의사"나 "변호사"가 될 때, 최신 지침에 맞춰 정확한 조언을 할 수 있습니다.

3. 어떻게 작동할까요? (3 단계 과정)

1. 지도 그리기 (Evidence Network):
   사용자가 "목이 아파요"라고 말하면, 시스템은 관련 문서들을 찾아 "목 통증"과 연결될 수 있는 모든 가능성 (알레르기, 독감, 코로나 등) 과 그 증상들을 나무 모양의 지도로 그립니다.
2. 가장 중요한 단서 찾기 (Strategic Questioning):
   지도에서 "어디에 정보가 가장 부족한가?"를 계산합니다. (예: "미각 변화"를 물어보면 알레르기와 코로나를 확실히 가릴 수 있구나!) 그리고 그 질문을 던집니다.
3. 믿음 업데이트 (Belief Update):
   사용자가 "미각이 떨어졌어요"라고 답하면, 시스템은 지도의 해당 부분을 업데이트하고 "아, 알레르기는 아니고 코로나일 확률이 높아졌다"라고 결론을 내립니다. 정보가 충분해지면 질문을 멈추고 최종 답을 줍니다.

4. 실험 결과: 왜 이것이 중요한가요?

이 시스템은 **의료 (MedQA)**와 법률 (BarExamQA) 시험에서 다른 최신 AI 들보다 훨씬 좋은 성적을 냈습니다.

• 더 적은 질문으로 더 정확한 답: 사용자를 귀찮게 하는 불필요한 질문을 줄였습니다.
• 신뢰성: "모르는 것"을 인정하고, 확실한 근거 (문서) 를 바탕으로 답하기 때문에, 의료나 법률처럼 실수가 치명적인 분야에서 더 안전하고 신뢰할 수 있습니다.

요약: 한 마디로 정리하면?

INFOGATHERER는 "모르는 척하지 않고, 모르는 것을 정확히 파악한 뒤, 가장 중요한 단서 하나만 찾아내는 현명한 수사관" 같은 AI 입니다.

이 기술이 발전하면, 우리가 병원에 갔을 때나 법률 상담을 받을 때, AI 가 사용자를 혼란스럽게 하지 않고, 정확한 정보를 바탕으로 전문가처럼 도와주는 시대가 올 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 은 의료 분류, 법률 지원 등 고위험 (high-stakes) 분야에서 문서 기반 질문 응답 (QA) 시스템으로 널리 배포되고 있습니다. 그러나 실제 환경에서는 사용자의 초기 질의가 종종 불완전하거나 모호 (underspecified) 한 경우가 많습니다.

기존의 단일 회수 (single retrieval pass) 기반 접근법은 이러한 정보 부족을 해결하지 못해, 모델이 불충분한 정보에도 불구하고 과도하게 확신 (overconfident) 하거나 잘못된 답변을 생성하는 문제를 야기합니다. 또한, 기존 정보 탐색 (information-seeking) 방법들은 다음과 같은 한계가 있습니다:

• 비구조화된 신호 의존: LLM 의 내부 확신 신호 (logits, verbalized probabilities) 에 의존하여 불확실성을 추정하는데, 이는 종종 보정되지 않아 (uncalibrated) 실제 불확실성을 반영하지 못함.
• 비효율적인 질문 전략: 어떤 정보가 부족하고, 어떤 질문이 가장 중요한지, 언제 질문을 멈춰야 하는지에 대한 원칙적인 (principled) 프레임워크가 부재하여 불필요한 질문을 하거나 중요한 정보를 놓침.
• 지식 의존성: LLM 의 매개변수 지식 (parametric knowledge) 에만 의존하여, 최신이거나 신뢰할 수 없는 정보를 제공할 위험이 있음.

2. 방법론 (Methodology)

저자들은 INFOGATHERER라는 새로운 프레임워크를 제안합니다. 이는 Dempster-Shafer (DS) 증거 이론을 활용하여 검색된 도메인 문서와 사용자의 답변으로부터 불확실성을 체계적으로 모델링하고, 이를 바탕으로 전략적인 질문을 생성합니다.

핵심 구성 요소:

1. 증거 네트워크 구축 (Evidential Network Construction):

   • 초기 사용자 질의를 바탕으로 관련 도메인 문서 (의료 가이드라인, 법률 문서 등) 를 검색합니다.
   • 검색된 텍스트를 기반으로 가설 (예: 질병 진단, 법적 판결) 과 관련된 변수들 (증상, 사실 관계) 간의 관계를 나타내는 방향성 비순환 그래프 (DAG) 형태의 증거 네트워크를 구성합니다.
   • 이 네트워크는 가설 (Hypothesis) 을 루트로 하고, 증상/사실 등을 리프 노드로 가지는 계층 구조를 가집니다.

2. 불확실성 모델링 (Uncertainty Modeling via Dempster-Shafer Theory):

   • 기존 베이지안 확률 (point probabilities) 대신 기본 신념 할당 (Basic Belief Assignments, BBAs) 을 사용합니다.
   • BBAs 는 특정 가설에 대한 확신을 할당할 뿐만 아니라, 모호성 (ambiguity) 과 무지 (ignorance) 를 명시적으로 표현할 수 있습니다 (예: "A 또는 B 일 수 있다"는 식의 집합에 질량을 할당).
   • 문서의 텍스트에서 추출된 증거가 모호하거나 상충될 경우, 이를 강제로 단일 확률로 축소하지 않고 DS 이론의 Yager 결합 규칙을 사용하여 불확실성을 보존하며 증거를 융합합니다.

3. 전략적 질문 생성 (Strategic Questioning):

   • 네트워크 내의 불확실성을 줄이기 위해 가장 정보량이 많은 노드 (질문할 변수) 를 선택합니다.
   • Deng 엔트로피를 기반으로 한 두 단계의 목표를 가집니다:
     1. 비특이성 (Nonspecificity) 감소: 넓은 집합 (모호한 상태) 을 더 구체적인 하위 집합으로 분해.
     2. 불일치 (Discord) 감소: 남은 경쟁 가설들 사이를 구분.
   • 각 후보 질문에 대해 가상의 답변을 시뮬레이션하여 기대되는 불확실성 감소를 계산하고, 가장 큰 감소를 기대하는 질문을 생성합니다.

4. 중단 조건 (Stopping Condition):

   • Pignistic 확률 (BetP) 을 계산하여 특정 가설에 대한 확신이 사전 정의된 임계값 (예: 0.85) 을 넘으면 대화를 종료하고 최종 결정을 내립니다.
   • 최대 대화 턴 수를 초과하더라도 확신이 부족하면 '답변 유보 (abstain)'를 선택하여 신뢰성을 확보합니다.

3. 주요 기여 (Key Contributions)

• 원칙적인 불확실성 표현: LLM 의 직관적 신호가 아닌 Dempster-Shafer 이론을 기반으로 불확실성을 수학적으로 모델링하여, 모호함과 무지를 명시적으로 표현하고 융합합니다.
• 문서 기반 추론: LLM 의 내재된 지식 대신 검색된 외부 문서를 근거로 삼아, 최신적이고 신뢰할 수 있는 정보를 바탕으로 질문을 생성합니다.
• 효율적인 정보 탐색: 불필요한 질문을 줄이고 핵심 정보를 빠르게 파악하여, 기존 방법들보다 더 적은 대화 턴으로 더 높은 정확도를 달성합니다.
• 고위험 도메인 적용: 의료 (MedQA) 와 법률 (BarExamQA) 분야라는 고위험 영역에서 검증된 프레임워크를 제시합니다.

4. 실험 결과 (Results)

의료 (MedQA) 와 법률 (BarExamQA) 벤치마크에서 gpt-5-nano 와 Qwen3 32B 두 가지 LLM 을 사용하여 평가했습니다.

• 성능 향상: INFOGATHERER 는 강력한 베이스라인 (Ask-or-Predict, MediQ, Uncertainty of Thoughts 등) 보다 높은 성공률 (Success Rate) 을 기록했습니다.
  • 법률 도메인 (gpt-5-nano): 66.5% 성공률 (MediQ 대비 39.3%p, UoT 대비 33.7%p 향상).
  • 의료 도메인 (gpt-5-nano): 69.3% 성공률 (MediQ 대비 10.2%p 향상).
• 효율성: 성공률을 높이면서도 평균 대화 턴 수를 줄였습니다. (예: 법률 도메인에서 UoT 는 4.9 턴, INFOGATHERER 는 5.9 턴으로 턴 수는 비슷하거나 약간 많지만, 성공률이 압도적으로 높음).
• 구성 요소 분석 (Ablation Study):
  • BBAs 의 중요성: 확률 (Probabilities) 만을 사용하는 변형 (IG Bayesian) 보다 BBAs 를 사용하는 것이 정확도와 효율성 모두에서 우월했습니다. 이는 모호한 증거를 강제로 확률화하는 것보다 불확실성을 보존하는 것이 더 나은 질문 전략을 유도함을 보여줍니다.
  • 문서 기반의 가치: 검색된 외부 문서를 사용하는 것이 모델이 생성한 참조 문서나 문서 없이 사용하는 것보다 법률 도메인에서 특히 효과적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

INFOGATHERER 는 고위험 의사결정 분야에서 LLM 에이전트의 신뢰성과 해석 가능성을 높이는 중요한 진전을 보여줍니다.

• 신뢰할 수 있는 AI: LLM 이 "모르는 것"을 인정하고, 불확실성을 수학적으로 관리하며, 필요한 정보를 체계적으로 수집함으로써 할루시네이션을 줄이고 신뢰할 수 있는 의사결정 지원을 가능하게 합니다.
• 도메인 중립성: 의료와 법률이라는 서로 다른 도메인에서 일관된 성과를 거두었으며, 향후 다른 전문 분야로 확장 가능한 프레임워크를 제공합니다.
• 미래 방향: 이 연구는 통계적 언어 모델과 원칙적인 의사결정 (principled decision-making) 간의 격차를 해소하는 방향으로 나아가며, 실제 임상 및 법률 현장에서 전문가를 보조하는 도구로서의 가능성을 제시합니다.

요약하자면, INFOGATHERER 는 불완전한 정보 하에서의 의사결정 문제를 해결하기 위해 문서 검색, Dempster-Shafer 이론, 전략적 질문을 통합한 혁신적인 프레임워크로, 고위험 분야에서 AI 의 신뢰성을 크게 향상시킵니다.