💬 NLP

Disentangling Ambiguity from Instability in Large Language Models: A Clinical Text-to-SQL Case Study

이 논문은 의미론적 불확실성을 별도의 점수들로 분해함으로써 임상 텍스트-투-SQL에서 입력의 모호성과 모델의 불안정성을 분리하고, 이를 통해 기존 방식보다 더 정교한 개입과 효율적인 오류 분류를 가능하게 하는 프레임워크인 CLUES를 소개한다.

원저자: Angelo Ziletti, Leonardo D'Ambrosi

게시일 2026-07-09

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Angelo Ziletti, Leonardo D'Ambrosi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 의료 기록 라이브러리를 이용해 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신은 AI 비서에게 "만 18세 이상 환자 중 아토피 피부염을 가진 환자는 몇 명인가?"와 같은 질문을 던집니다. AI는 데이터베이스에 질문을 던지는 특수한 언어인 SQL 쿼리와 그 답을 가져올 것입니다. 하지만 여기 함정이 있습니다. 때때로 AI는 틀린 답을 내놓는데, 심지어 아주 서로 다른 두 가지 이유로 틀리기도 합니다.

이 논문은 AI가 왜 혼란스러워하는지 알아내기 위한 새로운 탐정 도구인 CLUES를 소개합니다. CLUES의 주요 임무는 AI가 단순히 헷갈려 하는 것인지 파악하는 것입니다. 질문 자체가 여러 의미를 가진 수수께xy인가요(모호성, Ambiguity)? 아니면 AI가 그냥 컨디션이 안 좋아도 되는 날이라서 갈팡질팡하고 있는 건가요(불안정성, Instability)?

두 가지 유형의 혼란

AI의 두뇌를 주방이라고 생각해 봅시다.

1. 모호성 문제 (수수께끼)
당신이 요리사에게 "샌드위치 하나 만들어 줘"라고 주문한다고 상상해 보세요.

해석 A: "마요네즈를 뺀 터키 샌드위치를 만들어 줘."
해석 B: "치즈를 듬가량 넣은 햄 샌드위치를 만들어 줘."
만약 요리사가 두 가지를 모두 만들어서 당신에게 두 개의 서로 다른 샌드위치를 준다면, 그것이 바로 모호성입니다. 문제는 요리사의 요리 실력이 아니라, 당신의 주문이 모호했다는 것입니다. 의료 현장에서 "만 18세 이상 환자"라고 묻는 것은 까다롭습니다. "만 18세 이상"이 '현재 나이'를 의미할까요, 아니면 '처음 진단받았을 때의 나이'를 의미할까요? 만약 AI가 잘못된 의미를 추측한다면, 잘못된 답을 내놓게 됩니다. 이 논문은 이럴 때 인간에게 "저기, 현재 나이를 말씀하시는 건가요, 아니면 진단 시점의 나이를 말씀하시는 건가요?"라고 되물어야 한다고 제안합니다.

2. 불안정성 문제 (갈팡질팡하는 요리사)
이제 당신이 요리사에게 아주 명확한 주문을 내립니다: "마요네즈를 뺀 터키 샌드위치를 만들어 줘."

시도 1: 완벽한 터키 샌드위치.
시도 2: 탄 터키 샌드위치.
시도 3: 마요네즈가 들어간 터키 샌드위치 (앗!).
여기서 주문은 완벽했지만, 요리사가 불안정한 상태입니다. 이것이 불안정성입니다. AI가 자신의 내부 규칙에 대해 혼란을 겪고 있거나 그냥 오류를 일으키고 있는 것입니다. 이 논문은 이럴 때 인간에게 명확한 설명을 요구할 것이 아니라, 인간이 AI의 답변을 재검토하거나 학습 내용을 수정하도록 플래그(표시)를 달아야 한다고 제안합니다.

기존 방식 vs CLUES 방식

이 논문 이전에는 연구자들이 AI의 답변이 얼마나 "뒤섞여" 있는지 측정하기 위해 단일 점수(커널 언어 엔트로피, KLE)를 사용했습니다.

기존 방식: AI가 다섯 가지 서로 다른 답을 내놓으면 점수가 올라갑니다. 하지만 기존 점수는 '왜' 그런지 알려주지 못했습니다. 질문이 수수께끼였기 때문일까요, 아니면 AI가 오작동하고 있었기 때문일까요? 이는 불이 났는지 알려주지 않고 그냥 "불이야!"라고만 외치는 화재 경보기와 같았습니다. 실제 불이 난 것인지, 아니면 그냥 토스트가 탄 것인지 알려주지 못하는 것이죠.
논문의 주장: 저자들은 단 하나의 점수만을 사용하는 것에 명시적으로 반대합니다. 두 가지 혼란을 분리해야만 다음에 무엇을 해야 할지 알 수 있다고 말합니다.

CLUES의 작동 원리: 마법의 그래프

저자들은 CLUES(Conditional Language Uncertainty via Entropy and Schur)라는 프레임워크를 구축했습니다. 이들은 AI의 사고 과정을 2단계 쇼로 취급합니다.

1단계 (해석): AI는 질문이 어떤 의미를 가질 수 있는지 추측합니다. 즉, 질문의 여러 가지 버전을 작성합니다.
2단계 (답변): 각 버전의 질문에 대해, AI는 여러 번 답변을 시도합니다.

혼란을 측정하기 위해, 그들은 거대한 지도(이분 그래프 세만틱 그래프)를 그립니다.

지도의 한쪽에는 **질문들(해석들)**이 있습니다.
다른 한쪽에는 답변들이 있습니다.
그리고 이들을 선으로 연결합니다. 두 질문이 비슷하면 선이 굵어지고, 두 답변이 비슷하면 선이 굵어집니다.

그다음, 그들은 정교한 수학적 기법인 **슈르 보완(Schur complement)**을 사용합니다(수학적 필터로서 '질문의 혼란'을 '전체 혼란'에서 빼내는 과정이라고 상상해 보세요).

결과: 그들은 두 개의 별도 수치를 얻습니다.
- $H_I$ (모호성 점수): 질문들이 서로 얼마나 다른지 나타냅니다.
- $H_{R|I}$ (불안정성 점수): 질문이 고정되었을 때조차 답변들이 얼마나 다른지 나타냅니다.

숫자가 말해주는 것

연구팀은 두 가지 유형의 퍼즐로 테스트를 진행했습니다.

일반 상식: AmbigQA와 SituatedQA에서 각각 300개의 질문을 사용했습니다.
- 새로운 불안정성 점수( $H_{R|I}$ )가 기존의 단일 점수보다 AI의 실패를 훨씬 더 잘 예측한다는 것을 발견했습니다.
- 예를 들어, KimiK2 모델에서 기존 점수의 예측 정확도(AUROC)는 0.663이었지만, 새로운 CLUES 점수는 0.770까지 뛰어올랐습니다.
- 또한, 단순히 점수를 빼는 방식("나이브"한 방식)을 사용하면 실패하여, **37%에서 60%**의 확률로 음수가 나온다는 것을 발견했습니다. 이는 그들의 복잡한 수학적 기법이 왜 필요한지를 증명합니다.
의료 기록 (실전): 2,180개의 질문이 포함된 임상 Text-to-SQL 데이터셋으로 테스트했습니다.
- 여기서 새로운 점수는 더욱 뛰어난 성능을 보였습니다. 기존 점수의 정확도는 0.600이었던 반-면, CLUES는 0.762를 기록했습니다.
- 그들은 "불안정성" 점수가 AI가 단순히 갈팡질팡할 때를 포착하는 데 특히 유용하다는 것을 발견했습니다.

"레짐(Regime)" 전략: 혼란 정리하기

논문은 두 점수를 바탕으로 모든 질문을 네 가지 **레짐(Regime)**으로 분류할 것을 제안합니다.

레짐 I (확신): 낮은 모호성, 낮은 불안정성. -> 자동으로 답변함.
레짐 II (모호성): 높은 모호성, 낮은 불안정성. -> 인간에게 명확한 설명을 요청함.
레짐 III (불안정성): 낮은 모호성, 높은 불안정성. -> 인간의 검토를 위해 플래그를 표시함.
레짐 IV (복합): 높은 모호성, 높은 불안정성. -> 둘 다 수행함!

이 분류는 효율성 측면에서 게임 체인저입니다. 배포 테스트 결과, 레짐 IV(복잡하고 위험도가 높은 구역)는 전체 질문의 **25%**만을 차지했음에도 불구하고, **모든 오류의 51%**를 포함하고 있었습니다.

핵-심: 만약 당신이 무작위로 질문을 골라 체크하는 대신, 이 복잡한 25%의 질문들만 골라낸다면, 모든 실수의 절반을 잡아낼 수 있습니다! 이는 무작위로 체크할 때보다 두 배 더 효율적입니다.

얼마나 확실한가요?

저자들은 자신들의 결과에 꽤 확신을 가지고 있지만, 자신들의 발견을 과장하지 않도록 주의를 기울이고 있습니다.

그들은 수학적 방정식에 대한 이론적 증명을 제시하기보다는, 특정 데이터셋(AmbigQA, SituatedQA, 그리고 임상 벤치마크)에 대한 경험적 증거를 통해 프레임워크의 효과를 입증하고 검증했습니다.
그들은 실세계와 유사한 환경에서 개선 사항을 측정했으며, 새로운 점수가 실패를 포착하는 데 일관되게 더 우수함을 보여주었습니다.
그러나 그들은 실제 배포 환경에서 오류가 드문 경우(테스트에서 오류는 약 **4.4%**였습니다) 시스템이 아직 완벽하지는 않다는 점을 인정합니다. 이 시스템은 "트리아지(Triage, 우선순위 결정)"를 위한 훌륭한 도구이지, 모든 문제를 자동으로 해결하는 것은 아닙니다.
또한, 시스템이 먼저 여러 가지 해석을 생성해야 하므로 더 많은 컴퓨터 자원이 필요하다는 한계도 언급했습니다. 만약 해석을 생성하는 AI 자체가 부실하다면, 전체 시스템이 혼란에 빠질 수 있습니다.

결론

이 논문은 AI의 불확실성을 "해결했다"고 주장하는 것이 아닙니다. 대신, 2단계 프로세스와 슈르 보완이라는 특수한 수학적 필터를 사용함으로써, 우리는 드디어 혼란스러운 질문과 글리치(오작동)가 있는 AI를 구분할 수 있다는 것을 제안합니다. 이를 통해 우리는 추측을 멈추고 올바른 조치를 취할 수 있습니다. 질문이 모호할 때는 도움을 요청하고, AI가 제대로 작동하지 않을 때는 그 작업을 검토하는 것입니다. 이는 AI 의사와 연구자들을 더 안전하고 신뢰할 수 있게 만드는 한 걸음입니다.

기술 요약: 대규모 언어 모델에서 모호성과 불안정성의 분리

문제 정의

임상적 Text-to-SQL 애플리케이션에 대규모 언어 모델(LLM)을 배포할 때 직면하는 결정적인 장벽은 구문론적으로는 올바르지만 의미론적으로는 오류가 있는 쿼리를 생성할 위험입니다. 주요 과제는 **잠재적 모호성(latent ambiguity)**으로, 입력 쿼리에 내재된 불확실성(예: "18세 초과 환자"가 진단 시 연령을 의미하는지 현재 연령을 의미하는지 등)이 사용자에게는 드러나지 않으면서도 결과에 상당한 변화를 줄 수 있다는 점입니다.

Kernel Language Entropy(KLE)와 같은 기존의 불확실성 정량화 방법은 출력의 다양성을 측정하기 위해 단일 점수를 제공합니다. 그러나 이 접근 방식은 두 가지 근본적으로 다른 불확실성 원인을 혼동합니다:

입력 모호성 (Aleatoric-like): 사용자의 쿼리에 내재된 모호성으로부터 발생하는 다양성으로, 여러 가지 타당한 해석이 정당하게 존재할 수 있습니다.
모델 불안정성 (Epistemic-like): 하나의 명확한 해석을 처리할 때 발생하는 모델의 내부적 불일치 또는 지식 부족에서 기인하는 다양성입니다.

이러한 혼동은 효과적인 시스템 배포를 저해합니다. 높은 모호성은 사용자에게 명확화를 위한 대화를 유도해야 하는 반면, 높은 불안정성은 해당 쿼리를 인간의 검토 대상으로 표시해야 합니다. 기존 방법들은 이 두 체제를 구분할 수 없으므로 표적화된 개입을 방해합니다.

방법론: CLUES 프레임워크

저자들은 의미적 불확실성을 분해하기 위해 Text-to-SQL을 2단계 생성 프로세스로 모델링하는 CLUES(Conditional Language Uncertainty via Entropy and Schur) 프레임워크를 제안합니다.

1. 2단계 생성 프로세스

시스템은 다음과 같이 정형화됩니다:

해석 단계 (Interpretation Stage): 시스템은 원래의 쿼리에 대한 타당한 읽기 방식을 나타내는 $N$ 개의 서로 다른 의미적 해석( $I = \{I_1, ..., I_N\}$ )을 생성합니다.
생성 단계 (Generation Stage): 각 해석 $I_n$ 에 대해, 시스템은 $M$ 개의 후보 SQL 쿼리와 그에 대응하는 답변( $R_n = \{R_{n,1}, ..., R_{n,M}\}$ )을 생성합니다.
이 구조는 해석 간의 다양성은 모호성을 나타내고, 단일 해석 내의 다양성은 불안정성을 나타내는 이분 관계를 형성합니다.

2. 이분 의미 그래프 구축 (Bipartite Semantic Graph Construction)

유사도 함수 $k(\cdot, \cdot)$ 를 사용하여 전체 시스템에 대한 가중 인접 행렬 $W$ 를 구성하며, 이는 이분 그래프 구조를 가집니다:
$W = \begin{pmatrix} W_{II} & W_{IR} \\ W_{RI} & W_{RR} \end{pmatrix}$

$W_{II}$ : 해석들 사이의 의미적 유사성을 인코딩합니다.
$W_{RR}$ : 생성된 모든 답변 사이의 의미적 유사성을 인코딩합니다.
$W_{IR}/W_{RI}$ : 답변을 부모 해석에 연결하는 이진 할당 행렬입니다.

열 확산 커널( $K_\tau = e^{-\tau L}$ )이 적용되어 유사성을 매끄럽게(smoothing) 하며, 여기서 $\tau$ 는 클러스터링의 입도(granularity)를 제어합니다.

3. Schur Complement를 통한 분해

핵심 혁신은 전체 불확실성을 **모호성 점수( $H_I$ )**와 **불안정성 점수( $H_{R|I}$ )**로 분해하는 것입니다.

모호성 ( $H_I$ ): KLE 프레임워크를 사용하여 해석 행렬 $W_{II}$ 의 엔트로피를 계산합니다.
불안정성 ( $H_{R|I}$ ): 해석에 따른 결과의 조건부 엔트로피로 정의됩니다. 저자들은 단순 차감 방식( $H_{R,I} - H_I$ )이 von Neumann 엔트로피의 열-커널 밀도 행렬에 대한 연쇄 법칙을 위반하며 빈번하게 음수 값을 생성한다는 점을 들어 이를 거부합니다.
Schur Complement 솔루션: 차감 대신, 프레임워크는 조건부 유사성 구조를 직접 계산합니다:
$S = W_{RR} - W_{RI}(W_{II} + \epsilon I)^{-1}W_{IR}$
행렬 $S$ 는 해석 구조로 설명될 수 없는 잔여 답변 유사성을 나타냅니다. $S$ 의 엔트로피가 $H_{R|I}$ 를 산출합니다. 이 접근 방식은 점수의 비음수성을 보장하며 수학적으로 시스템의 내부 불일치를 격리합니다.

4. 불확실성 체제 (Uncertainty Regimes)

프레임워크는 $H_I$ 와 $H_{R|I}$ 에 대한 임계값을 기준으로 네 가지 운영 체제를 정의합니다:

체제 I (신뢰): 낮은 모호성, 낮은 불안정성 $\rightarrow$ 자동 응답.
체제 II (모호성): 높은 모호성, 낮은 불안정성 $\rightarrow$ 명확화 대화 트리거.
체제 III (불안정성): 낮은 모호성, 높은 불안정성 $\rightarrow$ 인간 검토 대상으로 표시.
체제 IV (복합): 높은 모호성, 높은 불안정성 $\rightarrow$ 명확화 + 검토.

주요 기여

CLUES 프레임워크: Schur complement를 사용하여 의미적 불확실성을 모호성과 조건부 불안정성으로 분해하는 모델 불가지론적(model-agnostic) 방법.
임상 데이터셋 및 절차: 역학적 질문을 위한 해석-생성 절차와 알려진 쿼리에 대해 다수의 유효한 해석을 포함하는 임상 Text-to-SQL 벤치마크.
실증적 검증: $H_{R|I}$ 가 최첨단 KLE( $H_R$ )보다 실패 예측 성능을 개선하며, 체제 기반 라우팅을 통해 효과적인 오류 분류를 가능하게 한다는 증거.

실험 결과

오픈 도메인 QA (AmbigQA & SituatedQA)

골드 스탠다드 해석을 사용하여 5개의 프런티어 LLM에 대해 CLUES를 평가했습니다.

실패 예측: 불안정성 점수 $H_{R|I}$ 는 결합 데이터에서 $H_R$ 보다 일관되게 높은 실패 예측 성능(AUROC +0.074 ~ +0.077 개선)을 보였습니다.
체제 식별: 높은 출력 다양성(높은 $H_R$ )을 가진 쿼리 중, 낮은 불안정성( $H_{R|I}$ )을 가진 쿼리가 높은 불안정성을 가진 쿼리보다 정확도가 현저히 높았습니다. 예를 들어, SituatedQA에서 정확도는 46.8%(체제 A)에서 13.3%(체제 B)로 떨어졌으며, 이는 통계적으로 유의미한 차이(오즈비 ~5.7)를 보였습니다.
단순 차감의 실패: 단순 차감 방식( $\tilde{H}_{R|I}$ )은 37~60%의 사례에서 음수 값을 생성했으며 성능이 무작위 선택 수준에 머물렀습니다. 이는 Schur complement의 필요성을 입증합니다.

임상 Text-to-SQL (알려진 해석)

EHRSQL 및 EpiAskKB에서 파생된 2,180개의 쿼리-모델 인스턴스로 평가되었습니다.

성능: $H_{R|I}$ 는 $H_R$ 의 0.600과 비교하여 0.762의 결합 AUROC를 달성했습니다 (p < $10^{-10}$ ).
강건성: 불안정성 점수는 다양한 열 커널 파라미터( $\tau \in [2, 20]$ )에 대해 안정적이었으나, 베이스라인인 $H_R$ 은 높은 $\tau$ 에서 크게 저하되었습니다.
온도 민감도: 중간 정도의 샘플링 온도(T=1.0–1.5)에서 가장 강력한 불안정성 신호가 나타났으며, 이는 높은 다양성이 잠재된 모델 불안정성을 드러냄을 시사합니다.

배포 설정 (생성된 해석)

실제 운영 환경과 유사하게 해석이 실시간으로 생성되는 설정(골드 라벨 없이)에서의 결과입니다:

정확도: 모델은 높은 정확도(84–100%)를 달성하여 오류가 드물게 발생했습니다(오류율 4.4%).
체제 효율성: 희소한 오류 환경에서는 단일 점수 AUROC가 $H_R$ 과 $H_{R|I}$ 간에 유의미한 차이를 보이지 않았으나, 체제 분석은 가치가 있었습니다. 체제 IV(높은 모호성 + 높은 불안정성)는 **전체 오류의 51%**를 포함하면서도 **쿼리의 25%**만을 차지했습니다.
라우팅: 체제 IV만을 인간 검토로 라우팅하는 전략은 무작위 선택보다 두 배 더 효율적으로 전체 실패의 절반을 잡아낼 수 있었습니다.

의의 및 주장

본 논문은 CLUES가 단일 점수 지표로는 불가능한 진단적 분해를 제공한다고 주장합니다. 입력 모호성과 모델 불안정성을 구분함으로써, 프레임워크는 표적화된 개입을 가능하게 합니다:

높은 모호성 쿼리에 대한 명확화(Clarification).
높은 불안정성 쿼리에 대한 인간 검토(Human Review).

저자들은 이러한 구분이 임상 EHR 접근과 같이 "그럴듯하지만 틀린" 결과가 심각한 위험을 초래할 수 있는 안전 필수 분야에서 운영상 매우 중요하다고 강조합니다. 이 프레임워크는 출력 샘플링만을 요구하는 모델 불가지론적 설계이며, 단순 엔트로피 차감의 함정을 피하는 원칙적인 수학적 접근을 제공합니다.

저자들은 한계점으로 다중 LLM 호출에 따른 계산 비용과 생성된 해석의 품질에 대한 의존성을 언급했습니다. 또한 고정밀도 배포 환경에서 오류율이 낮아 미세한 불확실성 신호의 변별력이 제한될 수 있음을 인정했으나, 체제 기반 라우팅이 여전히 무작위 선택보다 효율적인 이점을 제공함을 밝혔습니다.