💬 NLP

Compositional Reasoning Depth Predicts Clinical AI Failure: Empirical Evidence Consistent with Transformer Compositionality Limits in Electronic Health Record Question Answering

이 논문은 전자 건강 기록으로부터 임상 질문에 답하기 위해 필요한 추론 단계의 수(홉 카운트)가 대규모 언어 모델 실패를 예측하는 견고하고 이론에 기반한 예측 변수임을 입증하며, 추론 깊이가 깊어짐에 따라 여러 아키텍처에 걸쳐 정확도가 일관되게 단조 감소함을 보여주는데, 이러한 경향은 사고 과정의 연장에도 지속되며 컨텍스트 절단에 의한 것이 아니다.

원저자: Sanjay Basu

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sanjay Basu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 환자의 의료 기록(전자 건강 기록 또는 EHR이라 불리는 서류 뭉치)을 읽고 질문에 답하는 것을 도와줄 매우 똑똑하고 박식한 인턴을 고용했다고 상상해 보십시오.

이 종이는 그 인턴의 성과를 기록한 성적표입니다. 연구진은 놀라운 패턴을 발견했습니다: 인턴이 답을 찾기 위해 거쳐야 하는 단계가 많아질수록, 실패할 확률이 높아진다는 것입니다.

다음은 그들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다:

1. "홉(Hop)" 카운트: 몇 단계나 필요한가?

연구진은 답변을 찾는 데 필요한 '홉'(단계)을 세는 방식으로 질문의 난이도를 측정하는 방법을 만들었습니다:

홉 1 (쉬운 가져오기): 질문이 "환자의 혈압은 얼마입니까?"와 같이 하나의 특정 사실을 묻는 경우입니다. 인턴은 그냥 한 줄을 보고 읽기만 하면 됩니다.
홉 2 (단순 비교): 질문이 "도착했을 때 혈압이 높았습니까?"라고 묻는 경우입니다. 인턴은 숫자도 찾아야 하고, 이를 표준 수치와 비교해야 합니다.
홉 3 (탐정 놀이): 질문이 "환자의 연령과 가족력을 고려할 때, 유방암 검사를 받아야 합니까?"라고 묻는 경우입니다. 인턴은 나이를 찾고, 가족력을 찾고, 의학적 규칙을 찾아본 뒤, 이들을 결합해야 합니다.
홉 4 (마스터 셰프): 질문이 모든 전문의 진료 내용을 요약하고 해결되지 않은 문제들을 찾아내라는 내용일 경우입니다. 인턴은 여러 다른 섹션을 읽어야 하고, 몇 주 전의 세부 사항을 기억해야 하며, 완전히 새로운 이야기를 종합해내야 합니다.

2. 주요 발견: "계단식" 실패

연구진은 세 가지 서로 다른 "슈퍼 인턴"(Anthropic이나 OpenAI와 같은 회사의 AI 모델)을 테스트했습니다. 그들은 일관된 규칙을 발견했습니다: 단계(홉)가 늘어날수록, 정확도는 급격히 떨어집니다.

홉 1: 인턴들은 약 30~38%의 정답률을 보였습니다. (완벽하진 않지만 준수합니다).
홉 4: 인턴들의 정확도는 약 15~23%로 떨어졌습니다.

이는 마치 한 번에 수학 문제 하나는 쉽게 풀 수 있지만, 다섯 가지 서로 다른 수학 개념을 연결해서 풀어야 하는 문장제 문제를 만나면 완전히 무너져 버리는 학생과 같습니다. 연결 고리가 복잡해질수록 AI는 길을 잃게 됩니다.

3. "생각 시간" 실험

연구진은 다음과 같이 자문했습니다: 만약 우리가 인턴에게 "생각을 소리 내어 말하기"를 시키거나, 답변하기 전에 브레인스토밍할 시간을 더 많이 준다면 어떻게 될까? 이것을 "사고의 사슬(Chain of Thought)" 또는 "확장된 사고(Extended Thinking)"라고 부릅니다.

결과: 별로 도움이 되지 않았습니다. AI에게 추론 과정을 적도록 강제하거나 엄청난 양의 "생각 토큰"(정신적 에너지)을 할당하더라도, 질문이 어려워짐에 따라 정확도는 여전히 떨어졌습니다.
비유: 혼란에 빠진 학생에게 생각을 적을 수 있는 화이트보드를 준다고 상상해 보십시오. 만약 문제가 학생의 뇌 구조에 너무 복잡하다면, 그것을 적는다고 해서 마법처럼 해결책이 나타나지는 않습니다. 그들은 여전히 막히게 됩니다.

4. 왜 이런 일이 발생하는가? ("두뇌"의 한계)

이 논문은 이것이 AI가 게으르다거나 파일을 제대로 읽지 못해서 발생하는 것이 아니라고 제안합니다. 이는 이 AI "두뇌"(트랜스포머 모델)가 구축된 방식의 근본적인 한계입니다.

비유: AI의 주의 집중력을 손전등이라고 생각해 보십시오. 손전등은 한 지점을 매우 밝게 비출 수 있습니다(홉 1). 하지만 어두운 방 안에서 패턴을 보기 위해 네 개의 서로 다른 지점을 연결해야 한다면(홉 4), 손전등은 그 모든 빛줄스를 동시에 초점에 맞추도록 설계되지 않았습니다. "빛"이 너무 흩어져서 점들을 연결하기 어려워지는 것입니다.

5. "안전"에 관한 반전

흥미롭게도, AI가 어려운 질문에 막혔을 때 행동 방식이 변했습니다:

이전: AI는 때때로 터무리하게 추측하거나 사실을 지어내곤 했습니다(환각 현상).
이후 ("생각하기" 모드 적용 시): AI는 추측을 멈췄습니다. 대신, 종종 "모르겠습니다"라고 말하거나 답변을 거부했습니다(누락 현상).
이것이 중요한 이유: 병원에서는 시스템이 확신을 가지고 가짜 진단을 내리는 것보다, "모르겠다"라고 말하여 인간 의사가 개입할 수 있게 하는 것이 더 안전합니다. "생각하기" 모드는 AI를 더 똑똑하게 만들지는 못했지만, 자신의 혼란에 대해 더 정직하게 만들었습니다.

6. 실패의 원인이 아닌 것들

연구진은 AI가 의료 파일이 너무 길거나 잘려 나가서 실패한 것이 아님을 확인하기 위해 점검했습니다.

테스트: 그들은 답변이 실제로 파일의 어느 부분에 숨겨져 있는지 확인했습니다. 그 결과, 가장 어려운 질문들에 대해서도 답변은 파일 안에 존재한다는 것을 발견했습니다.
결론: 문제는 정보가 누락된 것이 아니라, AI가 가진 정보를 연결하는 능력의 문제였습니다.

요약

이 논문은 현재의 AI 도구들이 단일한 사실을 찾는 데는 뛰어나지만, 복잡한 의료적 퍼즐을 풀기 위해 여러 개의 점을 연결해야 할 때는 심각하게 고전한다는 것을 알려줍니다. 더 많은 시간을 주거나 더 깊이 "생각하라"고 요구하는 것은 이러한 구조적 약점을 해결해주지 못합니다.

핵잡이: 만약 당신이 의료 기록을 읽는 데 AI를 사용하고 있다면, AI가 단순한 질문보다 복잡한 다단계 질문에서 실수할 가능성이 훨씬 높다는 점을 반드시 알아야 합니다. 단순히 "평균" 점수만 봐서는 안 됩니다. 반드시 질문의 난이도가 어떠했는지를 함께 살펴봐야 합니다.

기술 요약: 구성적 추론 깊이가 임상 AI의 실패를 예측한다

문제 정의

대규모 언어 모델(LLM)은 표준화된 의학 시험에서 성능 향상을 보여주고 있으나, 실제 전자 건강 기록(EHR) 질의응답(QA)에 적용할 때는 일관성이 없고 잠재적으로 위험한 실패 양상을 보인다. 현재 평가 프레임워크의 결정적인 한계는 집계된 정확도 지표에 의존한다는 점이며, 이는 모델 실패의 구조적 성격을 은폐한다. 구체적으로, 연구자와 임상의들은 모델이 EHR 작업에서 언제, 그리고 왜 실패하는지에 대한 원칙적인 이해가 부족하다.

본 논문은 구성적 추론 깊이(compositional reasoning depth)—EHR로부터 답을 합성하기 위해 필요한 별개의 추론 단계(hop) 수로 정의됨—가 실패의 체계적인 예측 변수라고 상정한다. 이 가설은 트랜스포머의 구성성 한계(Hahn, 2020; Merrill et al., 2022; Sanford et al., 2023; Dziri et al., 2023; Peng et al., 2024)에 관한 일련의 이론적 문헌에 근거하며, 이는 고정된 아키텍처의 트랜스포머가 단일 순방향 패스(forward pass) 내에서 복잡한 구성 함수를 표현하는 데 어려움을 겪는다는 점을 시사한다. 본 연구는 정확도가 hop 수에 따라 단조롭게 감소하는지, 그리고 테스트 시간 추론 메커즘(예: Chain-of-Thought)이 이러한 저하를 완화할 수 있는지 조사한다.

방법론

데이터셋 및 분류 체계

본 연구는 임상의가 생성한 지침과 EHR XML 기록 및 임상의 참조 답변이 쌍을 이루는 MedAlign 데이터셋을 활용한다.

샘플: 주석이 달린 313개의 고유한 임상의 생성 EHR 질의응답 쌍이 평가되었다 (301개는 완전한 모델 응답을 포함).
Hop-Count 분류 체계: 각 질문에 필요한 추론 깊이를 주석 달기 위해 사전 지정된 4단계 분류 체계가 적용되었다:
- Hop 1: 단일 명명된 사실의 직접적인 검색.
- Hop 2: 두 가지 사실의 구성, 임계값 적용, 또는 이진 시간 비교.
- Hop 3: 교차 도메인 조회, 시간 산술, 또는 가이드라인 적용을 포함하는 3단계 추론 체인.
- Hop 4: 4개 이상의 EHR 소스 또는 시간 범위를 통합해야 하는 다중 구성 합성.
주석 신뢰도: 주석은 LLM에 의해 수행되었으며, 세 명의 전문의(내과 전문의)에 의해 검증되었다. 주요 LLM 주석 작성자와 임상의 간의 다수결 일치도는 상당했다 ( $\kappa = 0.916$ ).

실험 설계

본 연구는 두 개의 제공자(Anthropic, OpenAI)와 두 개의 OpenAI 세대에 걸쳐 세 가지 모델을 평가하였다:

Claude Sonnet 4-6 (Anthropic): 두 가지 조건에서 평가됨:
- Zero-Shot (ZS): 명시적인 추론 지침 없는 직접적인 답변.
- Extended Thinking (ET): 3,000-토큰 예산을 가진 내부 체인-오브-소트(chain-of-thought) 활성화.
GPT-4o (OpenAI): Zero-Shot 조건에서 평가됨.
GPT-5.4-2026-03-05 (OpenAI): Zero-Shot 조건에서 평가됨 (평가 당시의 플래그십 모델).

대조군 및 절제 실험(Ablations):

문맥 충분성 감사: EHR 절단(8,000자 제한)이 높은 hop 질문에 차별적인 불이익을 주지 않는지 확인하였다.
추론 조건: 추가적인 절제 실험으로 구조화된 4단계 명시적 CoT 프롬프트와 5배 더 큰 예산(16,000 토큰)을 가진 Extended Thinking 조건을 포함하였다.
검색 증강: BM25 및 밀집 의미론적(dense semantic) RAG 베이스라인을 테스트하여 검색만으로 추론 병목 현상을 해결할 수 있는지 결정하였다.
판사 검증: 응답은 엄격한 임상적 판정( $\kappa = 0.957$ )에 의해 검증된 자동 판사(GPT-4o-mini)에 의해 점수가 매겨졌다. 제공자 계열 편향을 배제하기 위해 Claude Haiku를 사용한 교차 제공자 검증이 수행되었다.

주요 결과

1. 단조로운 정확도 감소 (예측 P1)

평가된 세 모델 모두 구성적 깊이가 증가함에 따라 통계적으로 유의미한 단조 감소를 보였다.

Claude Sonnet (ZS): 정확도가 30.6% (Hop 1)에서 17.6% (Hop 4)로 감소했다 ( $p=0.011$ ). hop당 오즈비(Odds Ratio, OR): 0.72.
GPT-4o (ZS): 정확도가 **37.8%**에서 **14.7%**로 감소했다 ( $p<0.001$ ). hop당 OR: 0.58.
GPT-5.4 (ZS): 정확도가 **37.8%**에서 **23.5%**로 감소했다 ( $p=0.027$ ). hop당 OR: 0.80.
강건성: 이 경향은 질문 유형, EHR 길이, 4배 큰 문맥 창(32,000자)을 사용할 때도 지속되었으며, 이는 저하가 문맥 가용성보다는 추론 난이도 때문임을 확인시켜 준다.

2. 곡선을 평탄화하지 못한 테스트 시간 추론 (예측 P2)

Chain-of-Thought (CoT) 추론이 정확도-깊이 곡선을 평탄하게 만들 것이라는 가설과 달리, 확장된 사고(extended thinking)는 감소를 유의미하게 완화하지 못했다.

Extended Thinking (Claude): Zero-Shot과 유사한 기울기(34.2%에서 19.6%)를 보였으며, hop count와 추론 조건 사이의 유의미한 상호작용 효과는 없었다 ( $p=0.72$ ).
명시적 CoT 및 더 큰 예산: 구조화된 4단계 프롬프트나 5배 더 큰 사고 예산(16,000 토큰) 모두 곡선을 평탄하게 만드는 데 유의미한 영향을 미치지 못했다.
메커니즘: 모델은 어려운 과제에 비례하여 더 많은 계산량을 할당했지만(생각하는 토큰이 hop 수와 함께 스케일링됨, $r=0.31$ ), 이 증가된 계산량이 더 높은 정확도로 이어지지는 않았다. 실제로, 일치하는 hop 수준에서 정답은 오답보다 더 적은 생각 토큰을 필요로 했으며, 이는 모델이 어려운 구성에 계산량을 효과적으로 적용하는 데 어려움을 겪고 있음을 시사한다.

3. 오류 유형의 변화

오류의 성격은 깊이에 따라 체계적으로 변했다:

누락(Omission) vs. 환각(Hallucination): hop 수가 증가함에 따라 모델은 환각에서 누락으로 전환되었다. Hop 4에서 누락 오류가 지배적이었으며(ZS에서 72.5%, ET에서 71.6%), 환각률은 감소했다.
임상적 함의: 구조적 분해(명시적 CoT)는 환각을 더욱 감소시켰으나(0.3%) 누락을 증가시켰다(76.1%). 저자들은 이것이 유리한 안전성 트레이드오프라고 언급하는데, 누락은 임상의의 개입을 유도하는 반면, 확신에 찬 환각은 그렇지 않을 수 있기 때문이다.

4. 검색 증강의 한계

어휘적(BM25) 및 밀집 의미론적(RAG) 검색 베이스라인 모두 hop-정확도 기울기를 유의미하게 평탄하게 만드는 데 실패했다. 검색이 일부 사례에서 절대적 정확도를 개선하기는 했으나, 단조 감소는 지속되었으며, 이는 다중 hop 통합이 단순한 사실 검색을 넘어선 추론 병목 현상임을 나타낸다.

의의 및 주장

본 논문은 hop count가 임상 EHR QA에서 LLM 실패를 예측하는, 이론적 근거가 있는 교차 아키텍처 예측 변수임을 입증한다. 연구 결과는 "구성적 추론의 천장(compositional reasoning ceiling)"이 단순히 문맥 창을 늘리거나, 사고 예산을 확장하거나, 표준적인 검색 증강을 적용한다고 해서 해결되지 않는 현재 트랜스포머 아키텍처의 질적 한계임을 시사한다.

주요 기여:

분류 체계: 임상 EHR QA 작업을 계층화하기 위한 사전 지정된 hop-count 분류 체계.
실증적 증거: 정확도가 구성적 깊이에 따라 단조 감소함을 보여주는 교차 아키텍처(Anthropic 및 OpenAI 모델) 검증.
메커니즘적 통찰: 증가된 토큰 사용량에도 불구하고, 테스트 시간 추론(CoT)이 현재 트랜스포머의 구성적 한계를 극복하지 못한다는 증거.
안전 프레임워크: 집계된 정확도 지표를 넘어, 모델이 실패할 가능성이 가장 높은 고위험 과제를 식별하기 위해 hop-count 계층화를 리스크 계층화 도구로 사용하는 제안.

저자들은 집계된 정확도 지표가 높은 성능을 나타낼 수 있지만, 이는 다중 hop 추론에서의 체계적인 취약성을 은폐하고 있다고 결론짓는다. 이는 특히 다단계 추론이 중요한 임상 애플리케이션에서 구성적 깊이를 고려한 평가 프레임워크로의 전환이 필요함을 시사한다.