Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing

이 논문은 생물의학 텍스트 처리에서 LLM 의 결정에 대한 검증 가능성을 높이기 위해 '작업 과정 제시 (구체적 인용)'를 강제하는 것이 정확성과 검증성은 향상시킬 수 있으나, 모델에 따라 처리율 감소와 새로운 실패 모드를 초래할 수 있음을 보여줍니다.

핵심

🍳 핵심 비유: "요리사에게 레시피를 보여달라고 하다"

이 연구는 세 가지 유명한 AI 모델 (GPT-5.2, Gemini 3 Flash, Claude Opus 4.5) 을 실험실 셰프들로 상정했습니다. 이들은 **암 임상 시험 논문 (요리 재료 목록)**을 읽고, **"이 시험에 환자를 뽑을 때, 암이 퍼진 상태 (전이) 도 가능한가, 아니면 초기 단계 (국소) 만 가능한가?"**를 판단해야 했습니다.

연구팀은 두 가지 상황을 만들었습니다.

1. 상황 A (기존 방식): "정답만 말해줘." (예: "전이 가능")
2. 상황 B (새로운 방식): "정답을 말하되, 논문 원문에서 그 근거가 되는 문장을 그대로 베껴서 보여줘." (예: "전이 가능. 근거: '환자는 전이성 암을 가진 경우 포함됨'")

이때 AI 가 보여준 문장이 **실제로 원문에 있는 문장인지 (위조하지 않았는지)**를 컴퓨터가 자동으로 확인했습니다.

🔍 연구 결과: "근거를 보여달라고 하면 어떻게 될까?"

1. "모르는 척"을 더 많이 하게 됨 (Coverage 감소)

근거를 보여달라고 하니, AI 들이 조금 더 신중해졌습니다.

• 비유: 요리사가 "이 재료가 들어갔다고 확신할 수 없으면, 요리를 안 하고 '모르겠습니다'라고 말하는" 경우가 늘어난 것입니다.
• 결과: AI 가 답을 내놓지 않거나 (거부), 형식이 틀린 경우가 약간 늘었습니다. 하지만 이는 오히려 좋은 일일 수 있습니다. 근거가 부족할 때 무작정 답을 내는 것보다, "모르겠습니다"라고 말하는 것이 의료 현장에서는 더 안전하기 때문입니다.

2. 정답률은 모델마다 달랐음 (성능 변화)

• GPT 와 Gemini: 근거를 보여달라고 했을 때, 오히려 정답률이 약간 좋아졌습니다. (근거를 찾으려다 실수를 줄인 셈)
• Claude: 근거를 보여달라고 했을 때, 정답률이 떨어졌습니다. (근거를 찾으느라 정답을 놓친 경우 발생)
• 교훈: AI 모델마다 성격이 다릅니다. 어떤 모델은 "근거를 보여달라"는 요구가 도움이 되지만, 어떤 모델은 혼란을 겪습니다.

3. "근거"가 진짜 근거일까요? (기계적 유효성 vs 의미적 유효성)

이게 가장 재미있는 부분입니다.

• 기계적 유효성: AI 가 보여준 문장이 원문에 정확히 존재하는지 확인했습니다. (대부분 OK)
• 의미적 유효성: 그 문장이 정답을 뒷받침하는 진짜 논리적인 근거인지를 또 다른 AI 가 판정했습니다.
• 결과: AI 가 보여준 문장 중 약 50~70% 만이 진짜로 논리적인 근거였습니다. 나머지는 원문에 있는 문장이긴 한데, 정답과는 상관없는 엉뚱한 문장이거나, 문맥을 잘못 해석한 것이었습니다.
• 비유: 요리사가 "이 요리에 소금이 들어갔습니다"라고 말하며 소금병을 보여줬는데, 사실 그 소금병은 설탕이었습니다. 문장 자체는 원문에 있었지만, 의미는 틀린 것입니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 **"AI 가 답을 내놓을 때, 그 근거를 보여달라고 요구하는 것 (Show Your Work)"**이 왜 중요한지, 그리고 어떤 함정이 있는지 알려줍니다.

1. 신뢰할 수 있는 '감시자' 역할: AI 가 근거를 보여준다면, 우리는 그 근거가 진짜인지 쉽게 확인할 수 있습니다. (위조된 레시피를 걸러낼 수 있음)
2. 정확도 vs 신뢰도: 근거를 보여달라고 하면 AI 가 더 신중해져서, 정답을 내놓는 횟수는 줄어들지만, 내놓은 답의 신뢰도는 높아집니다.
3. 자동화된 '품질 관리': 만약 AI 가 근거를 보여주고, 그 근거가 논리적으로 맞다면 그 답만 자동화하고, 근거가 애매한 것은 사람이 다시 확인하게 하면 됩니다. 이렇게 하면 실수 없이 중요한 의료 업무를 처리할 수 있습니다.

📝 한 줄 요약

"AI 에게 "정답만 말하지 말고, 그 근거를 원문에서 찾아서 보여줘"라고 요구하면, AI 는 조금 더 신중해지고 우리가 그 답을 믿을 수 있게 됩니다. 다만, AI 가 보여주는 근거가 항상 논리적으로 완벽한 것은 아니므로, 중요한 결정 앞에서는 AI 의 '근거'도 한번 더 확인하는 것이 좋습니다."

이 연구는 의료 분야에서 AI 를 사용할 때, 단순히 "정답이 몇 % 맞았나?"를 보는 것을 넘어, **"왜 그 답을 냈는지 증명할 수 있는가?"**를 확인하는 새로운 기준을 제시합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 임상 시험 매칭, 환자 적합성 스크리닝, 증거 종합 등 생물의학 텍스트 처리에 광범위하게 활용되고 있습니다.
• 문제점:
  • 기존 평가는 주로 최종 작업의 정확도 (End-task accuracy) 에 집중하며, 개별 결정의 투명성, 검증 가능성, 신뢰성은 충분히 평가되지 않습니다.
  • LLM 은 유창하고 자신감 있는 답변을 생성하지만, 이는 입력 텍스트에 근거하지 않은 할루시네이션 (Hallucination) 이나 오류일 수 있습니다. 특히 의학 분야에서 잘못된 인용이나 근거 없는 주장은 심각한 안전 문제를 야기할 수 있습니다.
  • 기존 "참고문헌 인용" 방식은 LLM 이 가짜 문헌을 생성하는 경향이 있어 신뢰하기 어렵습니다.
• 연구 목적: 생물의학 텍스트 처리에서 LLM 의 결정이 입력 텍스트에 기반한 것인지 검증하기 위해, "작업을 보여라 (Show Your Work)" 는 개념을 도입하여 입력 텍스트의 원문 (Verbatim quote) 을 기계적으로 검증 가능한 형태로 요구하는 것이 모델의 성능, 안정성 및 검증 가능성에 어떤 영향을 미치는지 실증적으로 분석하는 것입니다.

2. 연구 방법론 (Methodology)

• 데이터셋: 2005 년부터 2023 년까지 주요 의학 저널 (BMJ, JAMA, Lancet 등) 에 게재된 200 건의 종양학 무작위 대조 시험 (RCT) 의 제목과 초록을 사용했습니다. (본문은 제공하지 않음)
• 작업: 각 초록을 바탕으로 임상 시험의 환자 포함 범위 (국소 질환, 전이성 질환, 둘 다, 불명확) 를 분류하는 4 클래스 분류 작업을 수행했습니다.
  • 레이블: LOCALIZED, METASTATIC, BOTH, NEITHER (또는 UNCLEAR - 정보 부족 시 기권).
• 평가 모델: OpenAI(GPT-5.2), Google(Gemini 3 Flash), Anthropic(Claude Opus 4.5) 의 최신 플래그십 모델 3 종을 사용했습니다.
• 실험 조건:
  1. Baseline (기저 조건): 레이블만 출력.
  2. Evidence Required (증거 요구 조건): 레이블과 함께 초록에서 발췌한 원문 인용구 (Verbatim Quote) 를 반드시 포함하여 출력.
     • 기계적 검증: 인용구가 초록 텍스트의 정확한 부분 문자열 (Exact Substring) 이어야 하며, 공백 정규화 후 일치해야 함.
  • 각 조건은 1 회가 아닌 3 회 반복 실행하여 안정성을 측정했습니다.
• 검증 프로세스:
  • 기계적 유효성 (Mechanical Validity): 인용구가 초록의 정확한 부분 문자열인지 자동 검증.
  • 의미적 지지 (Semantic Support): 2 차 LLM(Judge) 을 사용하여 해당 인용구가 할당된 레이블을 실제로 지지하는지 평가 (SUPPORTED/NOT SUPPORTED).
• 평가 지표: 커버리지 (Coverage), 조건부 정확도 (Conditional Accuracy), Macro-F1, Fleiss' kappa (일관성), 인용구 안정성 (Jaccard 유사도).

3. 주요 결과 (Key Results)

• 커버리지 감소: 증거 요구 조건은 모델이 정보를 충분히 얻지 못했을 때 기권 (UNCLEAR) 하거나 유효하지 않은 출력을 내는 빈도를 증가시켜 전체 커버리지를 약간 감소시켰습니다.
  • 예: GPT-5.2 는 86.2% → 84.3%, Gemini 는 98.3% → 92.8% 로 감소.
• 성능 변화 (모델 의존적):
  • GPT-5.2 와 Gemini: 증거 요구 시 조건부 Macro-F1 이 소폭 향상됨 (GPT: 0.910→0.916, Gemini: 0.933→0.945).
  • Claude Opus 4.5: 증거 요구 시 성능이 유의미하게 저하됨 (0.828→0.777, p=0.009).
• 기계적 유효성 vs. 의미적 타당성:
  • 기계적으로 유효한 인용구 (원문 부분 문자열) 는 83.3%~91.2% 로 높게 나타났습니다.
  • 그러나 의미적으로 타당한 증거 (Semantic Support) 로 평가된 비율은 48.0%~78.8% 로 크게 낮았습니다. 즉, 기계적으로 맞는 인용구라도 논리적 근거가 부족할 수 있음을 시사합니다.
• 안정성:
  • 레이블 예측은 매우 안정적이었으나 (Fleiss' κ 0.829~0.969), 인용구 선택의 안정성은 모델마다 달랐습니다. 특히 Gemini 는 인용구 선택의 변동성이 컸습니다.
• 선택적 예측 (Selective Prediction):
  • 의미적으로 지지되는 예측만 선별하여 분석하면 Macro-F1 이 크게 향상되었으나, 그 대신 커버리지는 감소했습니다. 이는 "높은 신뢰도 하위 집합"을 추출하는 전략이 가능함을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 검증 가능한 인용 메커니즘 제안: LLM 이 외부 문헌을 인용하는 대신 입력 텍스트 자체의 원문을 기계적으로 검증 가능한 방식 (부분 문자열) 으로 제시하도록 요구하는 새로운 평가 프레임워크를 제시했습니다.
2. 정량적 분석: "작업을 보여라" 요구사항이 LLM 의 정확도, 커버리지, 안정성에 미치는 영향을 다양한 벤더 모델에 대해 체계적으로 분석했습니다.
3. 기계적 유효성과 의미적 타당성의 괴리 규명: 인용구가 형식적으로 정확하다고 해서 반드시 논리적 근거가 되는 것은 아님을 실증적으로 증명했습니다.
4. 실용적 프레임워크: LLM-as-a-Judge 를 활용한 2 단계 검증 프로세스를 통해, 자동화 가능한 "고신뢰도 예측"과 수동 검토가 필요한 "저신뢰도 예측"을 분리하는 전략을 제시했습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 자동화: 생물의학 텍스트 처리에서 LLM 의 결정에 대한 감사 추적 (Audit Trail) 을 자동화할 수 있는 실용적인 방법을 제시했습니다. 이는 임상적 의사결정 지원 시스템에서 모델의 오류를 줄이고 신뢰를 높이는 데 기여합니다.
• 커버리지와 정확도의 트레이드오프: 증거 요구 조건은 전체 처리량을 약간 줄이지만, 검증 가능한 하위 집합의 정확도를 높여 신뢰성 있는 자동화 (High-trust automation) 를 가능하게 합니다.
• 미래 방향: 단순한 정확도 평가를 넘어, 증거의 안정성 (Stability) 과 의미적 지지 (Semantic Grounding) 를 평가 지표로 포함해야 함을 강조합니다. 또한, 추후 임상 기록 (EHR), 병리 보고서 등 다양한 문서 유형으로 확장하고, 기계적 검증을 강화하면서도 유연성을 높이는 제약 조건 설계가 필요함을 제안합니다.

요약: 이 연구는 LLM 이 생물의학 텍스트를 처리할 때 "근거를 제시하라"는 요구가 모델의 행동을 어떻게 변화시키는지 분석했습니다. 그 결과, 기계적으로 검증 가능한 원문 인용은 감사 추적을 가능하게 하고 신뢰할 수 있는 예측을 선별하는 데 유용하지만, 모델에 따라 성능이 달라지며 기계적 유효성이 반드시 의미적 타당성을 보장하지는 않음을 밝혔습니다.