기술 요약: 확률적 상식 기반 귀추적 추론

1. 문제 제기

본 논문은 대규모 언어 모델 (LLM) 의 추론에 적용된 현재 신경-상징적 (neurosymbolic) 접근법의 한계를 다룹니다. 기존 방법들은 자연어를 형식 논리로 성공적으로 변환하고 솔버를 활용하지만, 형식 솔버가 필요한 상식적 세계 지식(예: "흰색은 색이다") 에 접근하지 못하기 때문에 종종 실패합니다.

이 격차를 메우기 위한 이전 시도들 (예: LLM-Tres, ARGOS) 은 귀추적 추론 (abductive reasoning) 프레임워크에 의존합니다. 여기서 LLM 은 문맥 ($S$) 이 쿼리 ($c$) 를 논리적으로 함축하도록 누락된 전제 ($L$) 를 생성합니다. 그러나 이러한 방법들은 **단일화된 상식 (monolithic commonsense)**을 암묵적으로 가정합니다. 즉, 모든 사람이 참으로 받아들이는 단일하고 보편적으로 합의된 사실 집합 $L$이 존재한다는 것입니다.

저자들은 이 가정이 결함이 있다고 주장합니다. 실제로는 상식적 신념이 개인마다 다릅니다. 두 사람이 쿼리에 대해 이견을 보이는 것은 추론 오류 때문이 아니라, 서로 다른 yet 정당한 상식적 신념 집합 ($L_1$ 대 $L_2$) 을 가지고 있어 모순된 결론에 도달하기 때문입니다. furthermore, 단일화된 상식을 가정하면 명제의 진리 확률을 해석하기 어려워지며, 종종 진정한 확률 대신 해석 불가능한 신뢰도 점수로 축소됩니다.

핵심 문제: 필요한 상식적 가정들이 보편적으로 합의되지 않고 추론자들의 집단 내에서 변이될 때, 전제 $S$가 주어졌을 때 쿼리 $c$의 진리 값을 어떻게 결정할 것인가?

2. 방법론: 확률적 귀추적 상식 (PACS)

저자들은 상식을 단일한 정적 사실 집합이 아닌 추론자 집단 위의 확률 분포로 모델링하는 PACS 프레임워크를 제안합니다.

2.1 이론적 프레임워크

저자들은 쿼리 $c$가 참일 확률인 **귀추적 확률 (Abductive Probability)**을 모든 인간 집합 ($R$) 에 대한 기댓값으로 정의합니다:
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
여기서 $L(R)$은 추론자 $R$이 가진 상식적 신념 집합을 나타냅니다. 쿼리는 대부분의 추론자가 그것이 참이라고 결론 내린다면 "귀추적으로 참 (abductively true)"으로 간주됩니다.

개인의 완전한 신념 벡터 $L$은 접근할 수 없으므로, 이 방법은 개별 "생각 (epistemic statements)"을 순차적으로 샘플링하여 이 기댓값을 근사합니다.

2.2 샘플링 알고리즘

이 알고리즘은 증명 탐색을 신념 벡터 $L = (L_1, L_2, \dots, L_{|D|})$의 개별 요소들을 샘플링하는 과정으로 간주합니다.

1. 체인 룰 샘플링 (Chain Rule Sampling): 체인 룰을 사용하여 신념을 하나씩 샘플링합니다: $p(L) = p(L_1)p(L_2|L_1)\dots$.
2. 조기 종료 (Early Stopping): 전체 신념 벡터를 생성할 필요는 없습니다. 누적된 신념 $\hat{l}$이 전제 $S$와 결합하여 쿼리 ($S \land \hat{l} \vdash c$) 또는 그 부정을 논리적으로 함축 ($S \land \hat{l} \vdash \neg c$) 하는 순간 샘플링이 중단됩니다.
3. MDP 로서의 최적화: 계산 비용 (중단 시간) 을 최소화하기 위해 신념을 샘플링할 최적의 순서를 찾는 문제는 마르코프 결정 과정 (MDP) 으로 공식화됩니다.
   • 상태: 현재 샘플링된 신념 집합.
   • 행동: 다음에 샘플링할 신념 명제 선택.
   • 보상: 결론에 도달하기 위한 미래 단계의 기대 수를 최소화.

2.3 대리 점수 함수 (Surrogate Score Function)

정확한 기대 보상을 계산하려면 전체 분포 $p(L)$에 대한 지식이 필요하며, 이는 계산적으로 불가능합니다. 저자들은 **모델 카운팅 (model counting, 논리를 만족하는 가능한 세계의 수)**에 기반한 계산 가능한 대리 점수를 유도합니다.
최소화하기 위해 제안된 점수는 다음과 같습니다:
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
여기서:

• $\#\sigma$는 도달 가능한 완전히 제약된 상태의 수입니다.
• $v$는 문제의 총 변수 수입니다.
• $b$는 이미 제약된 변수의 수입니다.
  이 점수는 불확실성의 감소를 근사하여, 가장 정보량이 많은 상식적 가정으로 탐색을 안내합니다.

2.4 구현

• 샘플러로서의 LLM: LLM 은 다음 신념 명제 $l_i$에 대한 조건부 샘플러로 작용합니다.
• 빔과 유사한 탐색 (Beam-like Search): 알고리즘은 각 단계에서 $n$개의 후보 생각을 샘플링하지만, 상위 $m$개 점수 경로를 유지합니다 (빔 탐색 변형).
• 집계: 단일 최고 점수 경로를 선택하는 표준 빔 탐색과 달리, PACS 는 모든 완료된 탐색 경로의 결과를 집계합니다. 최종 답안은 이러한 다양한 경로의 결론에 대한 **다수결 (majority vote)**로 결정됩니다.

3. 주요 기여

1. 확률적 상식 프레임워크: 단일화된 진리에 대한 가정을 벗어나 인간 상식적 신념의 이질성을 명시적으로 모델링하는 귀추적 추론의 공식적 정의를 제시합니다.
2. PACS 알고리즘: LLM 과 형식 논리 솔버를 결합하여 다양한 추론 경로를 샘플링하고, 모델 카운팅을 사용하여 최소 설명 탐색을 안내하는 새로운 알고리즘입니다.
3. 실증적 검증: 단일 "정답" 추론 경로를 가정하거나 LLM 의 신뢰도 점수에만 의존하는 방법보다 신념 변이를 모델링하고 다양한 경로를 집계하는 것이 더 높은 정확도로 이어짐을 입증했습니다.

4. 실험 결과

저자들은 PACS 를 세 가지 데이터셋에서 평가했습니다: FOLIO(논리적 추론), CosmosQA, 그리고 True/False 로 변환된 QUAIL(독해).

• 성능: PACS 는 FOLIO 와 QUAIL 에서 Chain-of-Thought (COT), Self-Consistency (SC), 그리고 이전 신경 - 상징적 방법들 (LoT, LLM-Tres, ARGOS) 보다 우수한 성능을 보였습니다.
  • FOLIO 에서 PACS 는 Llama 3.3 70B 를 사용하여 **88%**의 정확도를 달성했으며, 이는 다음으로 좋은 신경 - 상징적 방법인 ARGOS(78%) 와 COT(73%) 보다 높았습니다.
  • QUAIL 에서 PACS 는 **91%**를 달성하여 휴리스틱 빔 탐색 베이스라인 (If-Beam) 보다 6% 높았습니다.
• 다양성과 견고성: PACS 는 아무런 올바른 추론 경로도 찾지 못한 문제의 비율을 크게 줄였습니다 (예: FOLIO 에서 3% 대 If-Beam 의 16%). 이는 PACS 가 더 효과적으로 해답 공간을 탐색함을 나타냅니다.
• "생각 (Thinking)" 모델과의 비교: 작은 비-생각 모델 (Llama 3 8B) 을 사용하더라도 PACS 는 현대적인 120B "생각" 모델 (GPT-OSS-120B) 보다 FOLIO 에서 더 좋은 성능을 보였습니다 (QUAIL 은 82% 대 82% 이지만, FOLIO 는 88% 대 82%). 이는 모델 크기 확장만으로는 원칙적인 탐색 알고리즘이 더 효과적일 수 있음을 시사합니다.
• 경로 길이: PACS 는 If-Beam(6.7) 에 비해 더 짧은 추론 경로를 찾았습니다 (FOLIO 에서 평균 길이 4.6). 이는 더 나은 계획 수립과 덜한 "과도한 사고 (overthinking)"를 나타냅니다.

5. 중요성과 주장

본 논문은 PACS 의 성공이 두 가지 핵심 통찰을 검증한다고 주장합니다:

1. 이질성이 핵심입니다: 추론 시스템은 "정답은 무엇인가?"라고 묻지 않고 "대부분의 사람들은 무엇이 정답이라고 말할 것인가?"라고 묻어야 합니다. 이는 단일한 통일된 증명을 찾는 것이 아니라 다양한 샘플 근거들을 합산하는 것을 요구합니다.
2. 목표 지향적 탐색: 시스템은 "어떤 명제들이 참인가?"라고 묻지 않고 "어떤 참 명제들이 이 문제를 해결하는 데 도움이 되는가?"라고 묻어야 합니다. 이는 포괄적 생성이 아닌 최소화 전략 (가장 짧고 직접적인 경로 찾기) 을 필요로 합니다.

저자들은 상대적으로 단순한 가정 (예: 해의 균일 분포) 을 사용함에도 불구하고, 이 프레임워크가 구체적이고 원칙적인 탐색 알고리즘을 설계하는 것이 LLM 을 단순히 파인튜닝하거나 그들의 암묵적 신뢰도에 의존하는 것보다 추론 능력을 향상시키는 더 효율적인 길임을 보여준다고 결론지었습니다.

6. 한계

저자들은 몇 가지 한계를 인정합니다:

• 균일성 가정: 대리 점수의 유도는 도달 가능한 상태의 분포 ($p(\sigma_i|l)$) 에 대한 균일 모델을 가정하는데, 이는 현실적이지 않을 가능성이 높습니다.
• 번역 오류: 이 방법은 자연어를 논리로 번역하기 위해 사전 훈련된 LLM 에 의존합니다. 이 번역 단계에서의 오류는 특히 번역 실수가 더 빈번했던 CosmosQA 데이터셋에서 노이즈를 유발합니다.
• 범위: 본 논문은 전용 논리 번역 모델을 파인튜닝하거나 신념 분포에 대한 더 복잡한 모델을 제안하지 않으며, 이는 현재 범위를 벗어난 것으로 간주합니다.