기술 요약: LLM의 논리를 신뢰할 수 있는가? 그래프 기반 프레임워크를 통한 불확정성, 일관성 및 강건성 정량화

1. 문제 정의

대규모 언어 모델(LLM)은 종종 그럴듯하지만 충실하지 않은 추론을 생성하며, 이는 흔히 "환각(hallucination)"이라 불리며 확신에 찬 오답으로 나타나기도 합니다. 현재의 디코딩 전략, 특히 자기 일관성(Self-Consistency, SC)은 정확도를 높이기 위해 최종 답변에 대한 다수결 투표에 의존합니다. 그러나 SC는 최종 출력의 일치 여부만을 평가할 뿐, 중간 단계의 논리적 타당성은 무시합니다. 이로 인해 "운 좋은 추측(lucky guesses)"—즉, 결함이 있거나 비논리적이거나 모순된 추론 경로가 우연히 정답에 수렴하는 현상—이 정확도 지표를 인위적으로 부풀릴 수 있습니다. 의료, 법률, 금융과 같은 미션 크리티컬한 도메인에서 이러한 추론 충실도(reasoning fidelity)의 결여는 심각한 위험을 초래합니다.

본 논문은 세 가지 핵심 과제를 식별합니다:

1. 불확정성 정량화(Uncertainty Quantification, UQ): 토큰 수준의 확률을 넘어, 구조적 붕괴와 확신에 찬 환각을 포착할 수 있도록 LLM 추론 과정의 불확실성을 어떻게 신뢰성 있게 정량화할 것인가?
2. 충실한 디코딩(Faithful Decoding): 의미적 및 구조적 인식이 단순한 다수결 투표가 놓치는 불충실한 "운 좋은 추측"을 걸러낼 수 있는가?
3. 강건성(Robustness): 지배적인 추론 경로가 제거되는 적대적 조건 하에서 추론 토폴로지는 얼마나 강건한가?

2. 방법론: GRAPHEVAL

저자들은 추론 충실도를 총체적으로 평가하기 위해 원시 텍스트 생성을 분석 가능한 토폴로지 구조로 변환하는 그래프 기반 추론 프레임워크인 GRAPHEVAL을 제안합니다. 파이프라인은 다음 다섯 단계로 구성됩니다.

A. 인과적 사실 분해 및 DAG 구축

• 생성(Generation): 생성 LLM($G_{LLM}$)이 추론의 다양성을 포착하기 위해 높은 온도로 $N$개의 사고 사슬(Chain-of-Thought, CoT) 궤적을 생성합니다.
• 주석 달기(Annotation): 각 단계에는 직접적인 인과 관계(예: [depends_on: 0, 1])가 주석으로 달립니다.
• 분해(Decomposition): 결정론적 온도로 작동하는 별도의 분해 LLM($D_{LLM}$)이 거친 단계들을 원래의 인과 관계를 보존하면서 세밀한 주어-동사-목적어 형태의 원자적 사실(atomic facts)로 분해합니다.
• 그래프 표현(Graph Representation): 출력값은 원자적 사실을 노드로, 인과 관계를 엣지로 하는 유향 비순환 그래프(Directed Acyclic Graph, DAG) $G = (V, E)$로 매핑됩니다.

B. 의미-구조적 거리 계산 (SS-GED)

추론 매니폴드 전반의 일관성을 측정하기 위해, 프레임워크는 확장된 **그래프 편집 거리(Graph Edit Distance, GED)**를 사용하여 모든 DAG 간의 쌍별 거리를 계산합니다.

• 최적화: NP-난해(NP-hard) 문제인 A* 탐색 대신, 효율적인 이분 매칭을 위해 헝가리안 알고리즘($O(m^3)$)을 사용합니다.
• 비용 함수: 치환 비용은 노드/엣지 임베딩 간의 코사인 거리에 기초합니다.
• 개선 사항:
  • 공정한 정규화(Fair Normalization): 가변적인 길이를 처리하기 위해 편집 비용을 평균 그래프 크기로 스케일링합니다.
  • 의미-구조적 혼합(Semantic-Structural Blending): 구조적 유사성과 종단 노드(결론)의 의미적 유사성을 결합합니다. 최종 유사도 점수 $S(G_i, G_j)$는 종단 노드의 코사인 유사도와 정규화된 편집 거리의 라디알 기저 함수(RBF) 변환의 가중치 혼합입니다.

C. 그래프 추론 일관성 점수 (GRCS)

GRCS는 추론 매니폴드 전반의 평균 쌍별 거리의 역수로 정의되는 새로운 UQ 지표입니다:
$$\text{GRCS} = \frac{1}{1 + \mu(D(q))}$$
여기서 $D(q)$는 쌍별 거리의 집합입니다. GRCS는 의미-구조적 합의(consensus)를 정량화합니다. 이는 모드 붕괴(반복적이고 결함이 있는 지름길)와 확신에 찬 환각(연결되지 않은 결론으로 이어지는 조작된 사실)을 탐지하도록 설계되었습니다. 이러한 현상들은 평균 쌍별 거리를 증가시킵니다.

D. 그래프 자기 일관성 (GSC)

GSC는 가장 빈번한 최종 답변이 아니라, 의미-구조적 그래프 매니폴드 내에서 가장 중심적이고 지지를 받는 경로인 메도이드(medoid) CoT를 선택하는 디코딩 전략입니다.

• 선택 기준: 메도이드 $z^*$는 구조적 중심성(다른 그래프들과의 총 유사도)과 그래프 수준의 합의(다른 그래프들이 의미적으로 유사한 노드를 포함하는 비율, 종단 노드에 대해 높은 가중치 부여)를 결래한 점수를 최대화합니다.
• 목표: 명목상의 정확도를 희생하더라도 추론의 충실도를 높이는 것이며, 이를 통해 정답을 맞히더라도 부적절한 경로를 걸러냅니다.

E. 적대적 메도이드 절제 (Adversarial Medoid Ablation)

강건성을 테스트하기 위해, 프레임워크는 GSC로 선택된 메도이드 경로의 재사용을 명시적으로 금지하는 프롬프트 포이즈닝 공격을 사용합니다. 이는 모델이 대안적인 추론 경로를 생성하도록 강제하며, 이를 통해 주요 "하중 지지(load-bearing)" 경로가 제거되었을 때 정확도가 떨어지는지 또는 "운 좋은 추측"이 나타나는지를 측정할 수 있게 합니다.

3. 주요 기여

1. GRCS 지표: SS-GED에 기반한 분포적 불확정성 지표로서, 전통적인 지표(분산, 엔트로피, Topo-UQ)가 실패하는 지점에서 결함 있는 추론 경로의 숨겨진 불확실성을 효과적으로 포착하며, 모델 규모 전반에 걸쳐 추론 충실도와 음의 상관관계를 일관되게 보여줍니다.
2. GSC 디코딩 전략: "운 좋은 추측"을 격리하는 구조적 디코딩 방법입니다. 실험 결과, GSC는 작은 모델(예: Llama 3.1 8B)에서 불충실한 추론을 크게 줄이는 동시에, 더 유능한 모델(예: DeepSeek R1)에서는 정확도를 유지하거나 개선함을 보여줍니다.
3. 적대적 강건성 발견: 본 연구는 GSC가 선택한 메도이드가 "하중 지지 경로(load-bearing path)" 역할을 한다는 것을 입증합니다. 이 경로를 강제로 제거하면 정확도는 일시적으로 유지될 수 있으나 추론의 충실도는 저하되는 경우가 많습니다.

4. 실험 결과

프레임워크는 5개의 데이터셋(GSM8K, BoolQ, StrategyQA, MedQA, GPQA)과 3개의 모델(Llama 3.1 8B, Phi-4, DeepSeek R1)에 대해 평가되었습니다.

• 불확정성 정량화: GRCS는 93%(15개 중 14개)의 설정에서 충실도와 음의 상관관관계를 유지한 유일한 지표였습니다. 분산이나 엔트로피 같은 베이스라인은 반복적인 결함 추론을 확신으로 오해하여 양의 상관관계나 약한 상관관계를 보이는 경우가 많았습니다.
• 디코딩 성능:
  • 작은 모델 (Llama 3.1 8B): GSC는 SC와 비교했을 때 상당한 정확도 저하(예: GSM8K에서 -7.6%, MedQA에서 -9.0%)를 일으켰습니다. 이는 SC의 높은 정확도가 불충실한 "운 좋은 추측"에 의해 부풀려져 있었음을 나타내며, GSC가 이를 성공적으로 걸러냈음을 의미합니다.
  • 유능한 모델 (DeepSeek R1): GSC는 모든 데이터셋에서 정확도를 유지하거나 약간 개선했습니다. 이는 더 큰 모델의 경우 구조적으로 중심적인 경로가 정답과 더 밀접하게 일치함을 시사합니다.
• 불일치 감사: SC와 GSC가 서로 다른 결과를 낼 때, GSC가 선택한 답변이 훨씬 더 충실할 가능성이 높았습니다(SC 57.6% 대비 GSC 79.5%).
• 적대적 절제: 메도이드 경로를 절제했을 때, 작은 모델들은 정확도 상승과 충실도 저하 사이의 강한 음의 상관관계를 보였으며, 이는 "운 좋은 추측" 현상을 실증적으로 확인시켜 주었습니다. 큰 모델은 상관관계가 적었으나, 정확도가 유지될 때 충실도가 저하되는 현상을 여전히 보였습니다.

5. 의의 및 주장

본 논문은 LLM의 신뢰성을 답변의 일치도만으로 판단해서는 안 된다고 주장합니다. 샘플링된 CoT를 DAG로 모델링함으로써, 저자들은 추론 구조가 최종 답변의 합의가 가려버리는 중요한 불확정성 및 강건성 신호를 드러낸다는 것을 입증했습니다.

• 패러다임의 전환: 본 연구는 특히 오류가 치명적인 결과를 초래할 수 있는 미션 크리티컬한 환경에서, 최종 출력의 빈도를 평가하는 것에서 추론 수준의 분석으로 전환할 것을 촉구합니다.
• 메도이드의 역할: GSC가 선택한 메도이드는 단순한 통계적 평균이 아니라, 신뢰할 수 있는 연역에 필수적인 "하중 지지(load-bearing)" 구조체로 식별되었습니다.
• 한계점: 저자들은 GRAPHEVAL이 SC보다 높은 시간 복잡도($O(N^2 \cdot m^3)$)를 가지며, 매우 크고 유능한 모델(DeepSeek R1 등)에서는 통계적 강점이 감소한다는 점을 인정합니다. 본 프레임워크는 현재 짧은 호흡의 벤치마크(3~6단계)에 최적화되어 있으며, 긴 컨텍스트와 고도로 복합적인 작업으로의 확장성은 여전히 해결 과제로 남아 있습니다.

요약하자면, GRAPHEVAL은 추론의 충실도를 정량화하기 위한 엄격한 그래프 기반 메커니즘을 제공하며, 신뢰할 수 있는 LLM 배포를 보장하기 위한 표준 디코딩 전략의 더 신뢰할 수 있는 대안을 제시합니다.