🤖 AI

SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs

이 논문은 주장의 형식화 가능성과 의미론적 결정성을 구분함으로써 대규모 언어 모델의 공간 추론에 대한 신뢰도 추정을 개선하고 여러 벤치마크에서 기존 베이스라인들을 능가하는 상징적 불확실성 정량화 프레임워크인 SymboUQ를 소개한다.

원저자: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 도시를 탐색하는 법을 가르치고 있다고 상상해 보십시오. 단순히 "제 생각에 은행은 왼쪽에 있는 것 같아요"라고 말하게 해서는 안 됩니다. 왜냐하면 로봇이 지도를 완전히 틀리게 파악하면서도 유창하게 추측만 하고 있을 수도 있기 때문입니다. 이것이 인공지능의 **공간 추론(spatial reasoning)**이 직면한 과제입니다. 즉, 컴퓨터가 단순히 자신감 있게 들리는 것을 넘어, 사물들이 서로 어떤 관계에 있는지 실제로 이해하도록 만드는 것입니다. 과학자들은 이야기 쓰기나 퍼즐 풀기에 뛰어난 "대규모 언어 모델(LLMs)"을 구축했지만, 이 모델들은 왼쪽과 오른쪽을 헷갈리는 것과 같은 단순한 논리에서 가끔 발을 헛디디곤 합니다. 이를 해결하기 위해 연구자들은 **불확실성 정량화(Uncertainty Quantification, UQ)**를 사용합니다. 이는 기본적으로 AI가 "잘 모르겠습니다" 또는 "매우 확신합니다"라고 말할 수 있게 하는 방법입니다. 여기서 큰 질문은 다음과 같습니다. AI가 복잡한 정신적 지도를 탐색할 때, 자신이 확신한다고 주장할 때 그 내용이 실제로 맞는지 어떻게 알 수 있을까요?

여기에 SymboUQ라는 새로운 방법이 등장했습니다. 이는 AI의 사고 과정에 대한 초스마트한 편집자 역할을 합니다. SymboUQ는 단순히 최종 답변을 확인하는 대신, AI가 적어 내려가는 단계별 추론 과정을 살펴봅니다. 이 방식은 AI의 생각을 하나의 건설 프로젝트처럼 취급합니다. 먼저, AI가 올바른 도구를 사용하고 있는지 확인합니다(문장을 수학 문제로 변환할 수 있는가?). 그다음, 그 건설물이 실제로 서 있을 수 있는지 확인합니다(수학적으로 성립하는가, 아니면 건물이 무너지는가?). 이 논문은 이 두 가지 확인 과정을 분리함으로써, SymboUQ가 이전 방식들보다 AI의 최종 답변이 얼마나 신뢰할 수 있는지 훨씬 더 잘 예측할 수 있다는 것을 밝혀냈습니다. 다섯 가지의 다양한 공간 퍼즐 테스트에서, 이 새로운 접근 방식은 AI가 자신의 실수를 포착하는 능력을 약 8% 향상시켰고, 추측 오류를 기존의 가장 좋은 도구들보다 7% 줄였습니다.

문제점: 유창한 거짓말쟁이

AI가 방 안의 램프 위치를 파악하려고 노력 중이라고 상상해 보십시오. AI는 다음과 같이 길고 매끄러운 문단을 작성합니다: "램프는 탁자 위에 있습니다. 탁자는 창문 아래에 있습니다. 따라서 램프는 창문 근처에 있습니다." 이는 완벽하게 들립니다. 하지만 만약 AI가 속으로 탁자가 창문 위에 있다고 생각했다면 어떨까요? 최종 문장은 우연히 참일 수도 있고, 전체 과정이 엉터리일 수도 있지만, AI가 너무나 유창하게 말하기 때문에 우리는 그것을 믿게 됩니다.

현재의 방법들은 AI가 얼마나 "자신감" 있게 말하는지 살펴보거나, AI에게 답을 여러 번 반복하게 함으로써 AI가 거짓말을 하고 있는지 추측하려 합니다. 하지만 이는 마술사의 손이 얼마나 빨리 움직이는지를 체크하는 것과 같습니다. 즉, 토끼가 정말로 모자 안에 들어있는지는 알려주지 못합니다. 이 논문은 공간 추론을 위해서는 다른 종류의 확인이 필요하다고 주장합니다. 우리는 AI의 내부 지도가 실제로 말이 되는지를 확인해야 합니다.

해결책: SymboUQ 탐정

저자들은 SymboUQ(Symbolic Uncertainty Quantification, 기호적 불확실성 정량화)라고 불리는 시스템을 구축했습니다. 이것을 AI의 추론 흔적(AI가 스스로에게 들려주는 이야기)을 감사하는 3인조 탐정 팀이라고 생각하십시오.

1. 레이아웃 감사관 (번역가이자 건축가)

먼저, **레이아웃 감사관(Layout Auditor)**은 AI의 영어 문장을 엄격한 수학적 규칙의 언어로 번역하려고 시도합니다. 이 단계에서는 두 가지 질문을 던집니다:

번역이 가능한가? (Symbolizability): "고양이가 매트 위에 있다"라는 문장을 고양이 is Above 매트와 같은 명확한 규칙으로 바꿀 수 있는가? 만약 AI가 "고양이가 매트 근처 어딘가에 있다"와 같이 모호하게 말한다면, 번역기는 막힐 수 있습니다.
집을 짓는 데 성공했는가? (Semantic Determinacy): 문장이 번역되었다 하더라도, 수학적으로 성립하는가? 만약 AI가 "고양이가 매트 위에 있다"라고 말한 뒤 "매트가 하늘에 떠 있다"라고 한다면, 수학은 깨집니다. 집이 무너지는 것입니다.

SymboUQ의 영리한 점은 AI가 문장을 번역할 수 있다고 해서(symbolizable), 그 문장이 반드시 확정적인 답으로 이어진다는 뜻은 아니라는 점을 깨달은 데 있습니다. AI가 문장을 완벽하게 번역할 수는 있지만, 수학적으로는 "모르겠다, 정보가 부족하다"라고 답할 수도 있습니다. SymboUQ는 이를 **의미론적 결정성(Semantic Determinacy)**이라고 부릅니다. 이는 설계도를 가지고 있는 것과 실제로 서 있는 건물을 가진 것의 차이입니다.

2. 결정성 프로필 (성적표)

다음으로, 시스템은 **결정성 프로필(Determinacy Profile)**을 생성합니다. 이는 단순히 "잘했음" 또는 "낙제"라고 말하는 성적표가 아닙니다. 대신 다음과 같이 말합니다:

"6개의 문장 중 5개를 번역하려고 시도했습니다."
"하지만 그 번역 중 실제로 작동하는 건물을 만든 것은 3개뿐입니다."
"나머지 2개는 너무 모호하거나 전체 구조를 붕loc(collapse)시켰습니다."

이 프로필은 AI의 추론 중 실제로 사용 가능한 증거가 얼마나 되는지를 시스템에 알려줍니다. 만약 AI가 90%는 유창하지만 10%만이 수학적으로 의미가 있는 이야기를 쓰고 있다면, 이 프로필이 이를 잡아냅니다.

3. 신뢰성 구성 요소 (스마트한 혼합기)

마지막으로, **결정성 인식 신뢰성 구성 요소(Determinacy-Aware Reliability Composer, DARC)**가 모든 단서를 모읍니다. DARC는 레이아웃 감사관으로부터 얻은 "수학적 증명"과 AI가 얼마나 자신감 있게 말했는지, 혹은 답을 몇 번 반복했는지와 같은 다른 신호들을 혼합합니다. 하지만 여기서 마법 같은 일이 일어납니다. DARC는 언제 수학적 증명을 믿고, 언제 다른 신호에 귀를 기울여야 할지 알고 있습니다.

만약 AI의 추론이 명확하고 수학이 제대로 작동한다면(높은 결정성), DARC는 수학적 증명에 크게 의존합니다.
만약 AI의 추론이 엉망이거나 수학이 막혀 있다면(낮은 결정성), DARC는 수학적 증명이 아직 유용하지 않다는 것을 알고 다른 신호들에 더 집중합니다.

연구 결과

연구진은 네 가지 AI 모델을 사용하여 다섯 가지의 서로 다른 데이터셋(다양한 유형의 공간 퍼즐)에 대해 SymboUQ를 테스트했습니다. 결과는 다음과 같습니다:

더 뛰어난 성능: SymboUQ는 가장 강력했던 기존 방식들과 비교했을 때, 정답의 순위를 오답보다 높게 매기는 능력이 약 8% 더 좋았습니다.
더 적은 실수: 확률 추정의 오류를 7% 줄였습니다.
"수학 vs 모호함"의 구분: 단순히 AI가 번역할 수 있는 문장의 개수를 세는 것(parse coverage)만으로는 충분하지 않다는 것을 입증했습니다. 반드시 그 문장들이 실제로 "예" 또는 "아니오"라는 확정적인 결론으로 이어졌는지(semantic determinacy)를 세어야 합니다.

이것이 왜 중요한가

이 논문은 AI의 모든 문제를 해결했다고 주장하는 것이 아닙니다. AI가 이제 공간 추론에 완벽해졌다고 말하는 것도 아닙니다. 대신, AI를 신뢰할 수 있는 더 나은 방법을 제시합니다. AI의 추론이 단순히 유창한 것을 넘어, 실행 가능하고 결정적인지 확인함으로써, 우리는 그 답변이 실제로 신뢰할 수 있는지에 대해 훨씬 더 명확한 그림을 얻을 수 있음을 보여줍니다. 이는 학생에게 "정답을 맞힌 것 같니?"라고 묻는 대신, 실제로 수학 숙제를 검사하여 그 풀이 단계가 제대로 성립하는지 확인하는 것과 같습니다.

요약하자면, SymboUQ는 AI의 세계에서 유창한 이야기가 항상 진실은 아니라는 점을 가르쳐 줍니다. AI가 맞는지 알기 위해서는, 그 AI의 정신적 지도가 논리라는 벽돌을 하나하나 쌓아 올려 실제로 구축될 수 있는지를 확인해야 합니다.

기술 요약: SymboUQ

문제 정의

대규모 언어 모델(LLM)은 공간 추론 작업에 대해 유창한 추론 흔적(reasoning traces)을 생성하지만, 중간의 관계적 단계들이 최종 결론을 뒷받침하지 못하는 경우가 빈번합니다. 단 하나의 잘못된 방향이나 포함 관계가 추론된 공간 구성의 오류를 초래할 수 있으며, 이 과정에서 설명 자체는 겉보기에 일관되게 보일 수 있습니다. 기존의 불확실성 정량화(UQ) 방법들은 토큰 수준의 통계, 의미적 일치성 또는 내부 표현에 의존하는데, 이는 공간적 의미론을 직접적으로 평가하지 못한 채 정답 여부와 상관관계만을 가질 수 있습니다. 반면, 형식적 검증기(formal verifiers)는 더 강력한 의미적 근거를 제공하지만 부분적인 적용 가능성이라는 한계를 가집니다. 즉, 어떤 주장이 형식 언어로 파싱될 수는 있으나(심볼화 가능), 전제 조건이 부족하거나 문맥적 불일치로 인해 "알 수 없음(unknown)" 또는 "평가 불가능(not-evaluable)"한 결과가 나올 수 있습니다. 결과적으로, 파싱 커버리지(parse coverage)만으로는 검증기가 제공하는 유효한 증거의 양을 나타내는 충분한 대리 지표가 될 수 없습니다.

방법론: SymboUQ

저자들은 SymboUQ를 제안합니다. 이는 심볼화 가능성(claim이 검증기의 형식 언어로 번역될 수 있는지 여부)과 의미적 결정성(해당 claim을 실행했을 때 확정적인 함의 또는 모순 판정이 나오는지 여부)을 구분함으로써 최종 답변의 신뢰도를 추정하는 심볼릭 불확실성 정량화 프레임워크입니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 레이아웃 감사기 (Layout Auditor)

레이아웃 감사기는 신뢰할 수 있는 장면 묘사(scene description)를 바탕으로 순서대로 배치된 공간적 주장들을 실행합니다.

제약 생성 (Constraint Generation): 자연어 문장을 방향, 포함, 거리 및 위상 관계를 다루는 정형 관계 시스템(주체, 관계, 객체의 3개 요소인 트리플 형태)으로 매핑합니다.
실행 및 판정 (Execution & Verdicts): 활성 문맥(신뢰할 수 있는 장면과 앞선 심볼화 가능한 주장들)을 유지하며 각 주장 $c_k$ $c_{k}$ 를 문맥에 따라 평가합니다. 각 주장은 다음 네 가지 상태 중 하나를 받습니다:
- 함의됨 (Entailed, $en$): 해당 주장이 활성 문맥으로부터 도출됩니다.
- 모순됨 (Contradicted, $co$): 해당 주장이 활성 문맥과 충돌합니다.
- 알 수 없음 (Unknown, $un$): 주장은 심볼화 가능하지만, 문맥 내에 이를 해결하기 위한 충분한 정보가 부족합니다.
- 평가 불가능 (Not Evaluable, $no$): 활성 문맥이 이미 불가능한 상태(이전의 모순으로 인해)여서 추가적인 평가가 불가능합니다.
증거 추출 (Evidence Extraction): 감사기는 실행 가능성, 충돌 탐지 및 유한한 복구 비용(신뢰할 수 있는 장면은 고정한 채 생성된 관계를 제거하여 실행 가능성을 복구하는 비용)과 관련된 특징을 추출합니다.

2. 결정성 프로필 (Determinacy Profile)

이 모듈은 판정의 극성(polarity)과는 독립적으로, 추론 흔적의 "유효 실행 커버리지(effective executable coverage)"를 특징짓는 라벨 없는 프로필 $\phi(r)$ 을 생성합니다.

심볼화 가능성 ( $\pi(r)$ ): 형식 언어로 파싱될 수 있는 주장의 비율입니다.
알 수 없음 비율 ( $\nu(r)$ ): 파싱된 주장 중 해결되지 않은(unknown) 주장의 비율입니다.
의미적 결정성 ( $d(r)$ ): 실행 가능한 문맥 하에서 확정적인 판정($en $또는$ co$)을 받는 파싱된 주장의 비율입니다. 결정적으로, "평가 불가능"으로 표시된 주장은 유효한 증거의 손실을 의미하므로 결정성을 감소시킵니다.
검증기 적용 가능성 ( $\delta(r)$ ): $\pi(r) \times d(r)$ 로 정의되며, 심볼화 가능하면서 동시에 의미적으로 결정적인 전체 주장의 비율을 나타냅니다.

3. 결정성 인지 신뢰도 구성기 (Determinacy-Aware Reliability Composer, DARC)

DARC는 추적의 적용 가능성 프로필에 따라 조건화된 이종 신뢰도 신호(제약 기반, 표현 기반, 디코딩 기반)를 통합합니다.

후보 뱅크 (Candidate Bank): 사전 학습되었거나 학습이 필요 없는 추정기(예: 토큰 엔트로피, 신경망 프로브, 제약 솔버)의 뱅크를 활용합니다.
타겟 적응 (Target Adaptation): 타겟 도메인의 라벨링된 검증 분할을 사용하여 후보를 선별(무작위 점수에 가까운 것 제거)하고, 방향을 조정합니다(AUROC가 0.5 미만인 경우 점수 반전).
적용 가능성 조건부 구성 (Applicability-Conditioned Composition): DARC는 결정성 프로필과 상호작용하는 특징 벡터를 구축합니다. 구체적으로, $\delta(r) \cdot s_j(r)$ 와 같은 상호작용 항을 사용하여 의미적 결정성에 기반해 제약 기반 증거의 기여도를 조절합니다. 이를 통해 결정성이 낮을 때는 심볼릭 증거의 가중치를 낮추면서도 신경망/디코딩 소스의 원시 점수는 보존할 수 있습니다. 최종 신뢰도 점수 $p(r)$ 은 $\ell_2$ 규제가 적용된 로지스틱 함수를 통해 계산됩니다.

주요 기여

개념적 구분: 본 연구는 텍스트의 심볼화 가능성과 의미적 결정성을 구분함으로써, 검증기 유래 증거가 언제 유익한지에 대한 원칙적인 근거를 제공합니다. 저자들은 파싱 커버리지만으로는 해결되지 않거나 차단된 주장을 고려하지 못하기 때문에 불충분하다고 주장합니다.
기술적 프레임워크: SymboUQ는 형식적 검증의 "알 수 없음" 및 "평가 불가능" 영역을 명시적으로 처리하고, 이를 신경망 신호와 통합하는 3단계 파이프라인(레이아웃 감사기, 결정성 프로필, DARC)을 도입합니다.
실증적 성능: 본 프레임워크는 다양한 공간 추론 벤치마크와 LLM 백본에 대해 강력한 베이스라인 모델보다 일관된 성능 향상을 보여줍니다.

실험 결과

저자들은 네 가지 동결된 LLM 백본(Mistral-7B, Llama-3.1-8B, Gemma-2-9B, Qwen3-8B)을 사용하여 다섯 가지 공간 추론 벤치마크(StepGame, SpaRTQA, SpaRTUN, SpaceNLI, SpaRP)에서 SymboUQ를 평가했습니다.

성능: SymboUQ는 추적 순위 지정(AUROC) 및 확률 추정(class-balanced Brier loss)에서 가장 강력한 종합 성능을 달이트했습니다. 가장 강력한 외부 베이스라인과 비교하여 AUROC에서 평균 8%의 상대적 개선을, class-balanced Brier loss에서 7%의 상대적 감소를 달성했습니다.
절제 연구 (Ablation Studies):
- 적용 가능성 인식: 결정성 인지 상호작용을 제거했을 때(단순 점수 스태킹 사용) AUROC가 0.032~0.052 하락하였으며, 이는 적용 가능성에 따른 조건화가 결정적임을 확인시켜 줍니다.
- 결정성 vs. 파싱 커버리지: 분석 결과, 제약 점수의 분리도는 파싱 커버리지가 아닌 의미적 결정성에 따라 단조 증가함을 보여주었으며, 이는 결정성이 검증기 효용성을 더 잘 나타내는 지표임을 입증합니다.
- 문맥 의미론: "가정된 문맥(assumed context, 검증되지 않은 가설 허용)"을 사용하는 것이 "근거 기반 문맥(grounded context)"을 사용하는 것보다 유의미한 이득을 주었습니다. 이는 시스템이 생성된 체인 내의 자기 모순을 탐지할 수 있게 하기 때문입니다.
효율성: 본 방법은 계산 효율적이며, 약 159개의 추적을 초당 처리할 수 있고, 적은 수의 학습 가능한 파라미터(8.13M)와 타겟 검증 분할에 대한 짧은 학습 시간(9분)만을 요구합니다.

의의

본 논문은 SymboUQ가 LLM 신뢰도 추정의 핵심적 간극, 즉 주장을 파싱하는 능력과 이를 의미적으로 해결하는 능력 사이의 괴리를 해결한다고 주장합니다. "알 수 없음"과 "평가 불가능"을 "모순됨"과 구별되는 별개의 상태로 취급하고, 문맥 불가능성으로 인한 증거 손실을 명시적으로 모델링함으로써, 검증기 적용 가능성에 대한 더 충실한 측정을 제공합니다. 결과는 공간 추론에서 신뢰도 추정이 단순한 파싱 가능성이 아닌, 의미적 결정성에 따라 조건화된 상태에서 신경 신호와 심볼릭 검증 신호를 통합할 때 크게 이득을 얻는다는 것을 시사합니다. 본 연구는 심볼릭 불확실성 정량화가 감사 과정에서 중간 단계의 정답(ground-truth) 라벨 없이도 자유 형식의 추론 흔적에 효과적으로 적용될 수 있음을 입증합니다.