Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

이 글은 학생이 단순히 특정 시험 문제의 답을 암기하고 있는 것인지, 아니면 실제로 과목을 학습하고 있는 것인지 파악하려는 시도와 같습니다.

이 논문은 우리가 사용하는 오늘날의 AI 챗봇인 **대규모 언어 모델(LLM)**에 대한 심층적인 조사 보고서입니다. 이 AI들이 정말로 의사처럼 "사고"하고 있는지, 아니면 그저 정답을 맞히기 위해 패턴 매칭을 하고 있는 것인지를 확인하고자 합니다.

연구진이 발견한 내용을 이해하기 쉽게 정리했습니다.

1. 설정: "의학적 미스터리" 테스트

연구진은 *뉴잉글랜드 저널 오브 메디신(New England Journal of Medicine)*에 실린 50개의 실제 복잡한 의학 사례(매우 중요한 의학적 미스터리라고 생각하시면 됩니다)를 가져왔습니다. 그리고 다섯 가지의 서로 다른 최상위 AI 모델들에게 이 문제들을 해결하도록 요청했습니다.

그들은 단순히 최종 답변(예: "환자는 폐렴입니다")만을 본 것이 아닙니다. 그 답변에 도달하기 위해 AI가 작성한 전체 사고 과정, 즉 "추론 흔적(reasoning trace)"을 살펴보았습니다.

2. 문제점: "블랙박스" 사고

보통 AI의 추론은 그저 텍스트의 벽일 뿐입니다. 두 개의 서로 다른 AI 설명을 비교하여 그들이 동일한 논리를 사용하고 있는지 파악하기는 어렵습니다.

• 비유: 자동차가 왜 고장 났는지에 대해 에세이를 쓰는 두 학생을 상상해 보세요. 한 학생은 "엔진이 뜨겁다, 그래서 라디에이터가 고장 났다"라고 말하고, 다른 학생은 "차가 뜨겁다, 그래서 엔진이 고장 났다"라고 말합니다. 두 학생 모두 결론에는 도달했지만, 그들의 논리는 다릅니다. 만약 당신이 에세이만 읽는다면, 그들이 동일한 "정신적 청사진(mental blueprint)"을 사용하고 있는지 알기 어렵습니다.

3. 해결책: 생각을 "지도"로 바꾸기

이를 해결하기 위해 연구진은 **임상 추론 그래프(Clinical Reasoning Graphs)**를 발명했습니다.

• 은유: 연구진은 난잡한 텍xt를 플로우차트나 로드맵으로 변환했습니다.
• 지도:
  • 노드 (점): "증상", "가능한 질병", "단서", "증거"와 같은 요소들을 나타냅니다.
  • 엣지 (선): "이 증상은 이 질병을 뒷받침한다" 또는 "이 단서는 저 질병을 배제한다"와 같은 연결 고리를 나타냅니다.

연구진은 모든 AI의 지도가 동일한 언어로 그려질 수 있도록 특정 규칙(온톨로지)을 구축했습니다. 그 결과 750개의 서로 다른 AI 에세이를 750개의 구조화된 지도로 성공적으로 변환했습니다.

4. 핵심 질문: AI에게 "정신적 청사진"이 있는가?

인간 의사의 경우, 전문가들은 **진단 스키마(Diagnostic Schema)**라는 것을 사용합니다.

• 비유: 인간 의사는 환자가 가슴 통증과 특정한 심장 리듬을 보이면, 뇌 속에 미리 준비된 "흉통 청사진"을 즉각적으로 불러옵니다. 그들은 어떤 단서를 찾아야 하고, 어떤 것을 배제해야 하는지 정확히 알고 있습니다. 만약 그들이 똑같은 증상을 가진 다른 환자를 보더라도, 동일한 청사진을 사용합니다.

연구진은 질문했습니다: AI 모델도 이렇게 하는가?
만약 AI가 똑같은 신장 질환을 가진 두 명의 환자를 마주했을 때, 매우 유사한 지도를 그릴까요? 아니면 정답은 같더라도 완전히 다른 지도를 그릴까요?

5. 결과: 역량은 있으나 일관성은 없다

결과는 놀라웠고, AI의 "추론"을 신뢰하는 사람들에게는 다소 당혹스러운 것이었습니다.

• 결과: AI 모델들은 정답을 맞히는 능력(역량, Competence)은 뛰어났습니다. 하지만, 지도를 살펴보았을 때 모델들은 일관된 청사진을 사용하지 않았습니다.
• 비유: 수학 시험을 치르는 두 학생을 상상해 보세요. 두 학생 모두 정답 "42"를 맞혔습니다.
  • 학생 A는 매번 표준 공식을 사용합니다.
  • 학생 B는 문제가 동일함에도 불구하고, 매 문제마다 서로 다른 이상한 꼼수를 사용합니다.
  • 연구 내용: AI 모델들은 학생 B와 같았습니다. 유사한 의학 사례에 직면했을 때, 그들은 완전히 다른 지도를 그렸습니다. 정답은 같았지만, 지도는 서로 전혀 닮지 않았습니다.

핵 핵심 요점: AI는 정답을 맞힐 만큼 "똑똑"하지만, 인간 전문가처럼 안정적이고 반복 가능한 방식으로 "사고"하고 있지는 않습니다. 본질적으로 매 사례마다 바퀴를 새로 발명하고 있는 셈입니다.

6. "정확도의 함정"

이 논문은 정답을 맞히는 것이 반드시 일관된 사고를 의미하는 것은 아님을 보여주었습니다.

• 비유: 만약 당신이 시험에서 연속 10번 정답을 맞혔다면, 당신은 똑똑해 보일 것입니다. 하지만 매번 서로 다른 무작위 추측 전략을 사용했다면, 당신은 실제로 그 내용을 학습한 것이 아닙니다.
• 이 연구는 AI가 진단을 틀렸을 때조차도, 그들의 추론 지도가 정답을 맞혔을 때와 마찬가지로 (유사하거나 혹은 이질적으로) 보였다는 점을 밝혀냈습니다. 이는 AI의 "구조"가 실제 정답 여부와는 별개의 문제임을 입증합니다.

7. "더 깊이 생각하기"가 도움이 되었는가?

연구진은 AI에게 *"멈춰서, 첫 번째 답을 다시 생각하고, 그 답에 반론을 제기한 뒤, 다시 결정하라"*고 지시하는 **"구조적 성찰(Structured Reflection)"**이라는 기법을 시도했습니다.

• 결과: 이 방식은 AI가 더 구체적인 단서를 포함한 더 상세한 지도를 쓰게 만들었습니다. 그러나 이것이 사례 간의 지도를 더 일관되게 만들지는 못했습니다. AI는 여전히 새로운 환자를 마주할 때마다 각기 다른 "청사진"을 사용했습니다.

결론

이 논문은 AI의 설명이 논리적으로 보이거나 정답을 맞힌다고 해서 그 "추론"을 신뢰해서는 안 된다고 결론짓습니다.

• 경고: AI의 설명이 의사의 사고 과정처럼 보인다고 해서, 그것이 안정적이고 재사용 가능한 사고 방식을 가졌다는 뜻은 아닙니다. 그것은 그저 운 좋게 정답을 맞히는 아주 뛰어난 패턴 매칭 도구일 수도 있습니다.
• 희소식: 이들의 생각을 "지도(그래프)"로 변환함으로써, 우리는 이제 이러한 불일치를 실제로 보고 측정할 수 있게 되었습니다. 우리는 AI가 인간처럼 생각한다고 가정하는 것을 멈추고, 그들이 정확히 어떻게 생각하는지를 측정하기 시작할 수 있습니다.

요약하자면: AI는 매번 정답이라는 결말을 만들어내지만, 결코 같은 대본을 두 번 사용하지 않는 천재적인 즉흥 연기자입니다.