기술 요약: 구조화된 가설 공간에 대한 추론을 위한 양자 영감을 받은 트레이스 증강 증거 선택 (Quantum-Inspired Trace-Augmented Evidence Selection for Reasoning over Structured Hypothesis Spaces)

1. 문제 정의

대규모 언어 모델(LLM)은 일반적인 전문가 시험에서 인간 수준 또는 그 이상의 성능을 달-성했지만, 법률과 같이 전문적이고 증거 집약적인 도메인에서는 여전히 취약한 모습을 보입니다. 이러한 도메인에서의 오류는 세계 지식의 부족이 아니라, 증거 조각들 사이의 미묘한 차이와 이를 뒷받 뒷받침하는 사실들의 일관되지 않은 적용에서 기인하는 경우가 많습니다.

추론 능력을 개선하기 위한 기존의 접근 방식은 여러 개의 사고 사슬(Chain-of-Thought, CoT) 트레이스를 샘플링하고 이를 **다수결(majority vote)**로 집계하는 것입니다. 그러나 다수결 방식은 증거가 얼마나 강력한지와 관계없이 가장 인기 있는 답을 우선시하기 때문에, 증거 집약적 과업에는 근본적으로 결함이 있습니다. 이 방식은 고품질의 증거에 의해 뒷받침되지만 소수의 트레이스에만 나타나는 정답(즉, "노이즈가 섞인 다수" 문제)을 복구하는 데 실패합니다. 또한, 최첨단 모델들은 단순한 집계로는 완화되지 않는 잠재적 편향(예: 위치 편향)을 보이는 경우가 많습니다.

본 논문은 추론 파편(reasoning fragments)을 선택하는 문제를 통계적 투표 작업이 아닌 명시적인 **조합 최적화 문제(combinatorial optimization problem)**로 다루어야 한다고 주장합니다. 목표는 빈도가 아닌 품질 지표(관련성, 구체성, 차별성)를 기반으로 가설을 최대한 지원하는 증거 파편의 부분 집합을 식착하는 것이며, 이를 통해 잘 뒷받침된 소수 가설이 노이즈가 섞인 다수를 압도할 수 있도록 합니다.

2. 방법론: EP-HUBO 프레임워크

저자들은 소수이지만 정답인 가설을 보존하면서 추론 파편을 집계하도록 설계된 4단계 파이프라인인 EP-HUBO(Evidence Pool Higher-Order Binary Optimisation)를 소개합니다. 이 프레임워크는 고전 및 양자 하드웨어 모두에서 해결 가능한 고차 비제약 이진 최적화(Higher-Order Unconstrained Binary Optimisation, HUBO) 문제로 정식화되었습니다.

1단계: 로컬 트레이스 생성

더 작고 오픈 웨이트 방식인 로컬 LLM(예: Qwen3.5-35B 또는 OSS-20B)이 질문당 $N$개의 독립적인 CoT 트레이스를 생성합니다. 이 단계는 비용 효율적이며 초기 트레이스 생성을 위해 최첨단 모델을 사용하는 데 드는 높은 API 비용을 피할 수 있습니다.

2단계: 증거 풀링 및 파편 점수 산정

트레이스들은 특정 가설으로 결론을 맺은 증거들을 추출하여 증거 풀(evidence pools, $P_\ell$)로 그룹화됩니다. 각 풀은 특정 가설로 결론을 내린 트레이스들로부터 유도된 추론 파편들을 포함합니다.

• 파편 추출: 결정론적 규칙과 품질 필터(예: 최소 단어 수, 엔티티 존재 여부)를 사용하여 원문 텍스트에서 파편을 파싱합니다.
• 품질 점수 산정: 로컬 LLM이 다음 세 가지 차원에서 각 파편을 점수화합니다:
  1. 관련성 ($r_i$): 질문과의 연결성.
  2. 구체성 ($s_i$): 구체적인 사실, 법령 또는 명명된 엔티티의 존재 여부.
  3. 차별성 ($d_i$): 다른 파편에 의해 암시되지 않는 논리적 기여도.
• 가중치 부여: 결정적으로, 이 가중치들은 인기(빈도)와 분리되어 있습니다. 이는 파편의 빈도를 주요 계수로 사용했던 이전의 QUBO 기반 접근 방식(예: QCR-LLM)과 달리, 빈도에 의존하지 않습니다.

3단계: HUBO 최적화

각 증거 풀에 대해, 시스템은 에너지 함수 $H_\ell(x_\ell)$를 최소화하는 파편의 부분 집합($S_\ell$)을 찾는 HUBO 문제를 해결합니다.
$$H_\ell(x_\ell) = \sum w^{(1)}_i x_i + \sum w^{(2)}_{ij} x_i x_j + \sum w^{(3)}_{ijk} x_i x_j x_k$$

• 1-body 항 ($w^{(1)}$): 품질 점수($r, s, d$)에서 유도됩니다.
• 2-body 항 ($w^{(2)}$): 모순을 벌칙(penalize)으로 부과하고 파편 간의 지지를 보상(reward)합니다.
• 3-body 항 ($w^{(3)}$): 일관성을 보상하고 가설을 약화시키는 것을 벌칙으로 부과합니다.
• 제약 조건: 최적화는 카디널리티 제약($\|x\|_1 = K$)을 따르며, 여기서 $K$는 풀 내부의 파편 다양성(Jaccard 거리)에 따라 동적으로 조정됩니다.
• 솔버(Solver): 문제는 고전 하드웨어에서의 시뮬레이티드 어닐링(Simulated Annealing, SA) 또는 Quantum Computing Inc.(QCi)의 Dirac-3 광자 엔트로피 양자 머신을 사용하여 해결됩니다. Dirac-3는 게이트 기반 또는 D-Wave와 같은 어닐링 하드웨어에서 요구되는 이차식 변환(quadratization) 오버헤드 없이 고차 항을 직접 해결할 수 있게 해줍니다.

4단계: 최첨단 모델의 판정

강력한 최첨단 LLM(예: Claude Sonnet 4.6 또는 Opus 4.6)에 대한 단일 호출이 이루어집니다. 모델은 질문, 모든 옵션, 그리고 각 가설별로 라벨링된 HUBO로 선택된 증거 부분 집합을 전달받습니다. 최첨단 모델은 판정자(adjudicator)로서, 최적화된 증거 앙상블에 의해 가장 강력하게 뒷받침되는 옵션을 선택합니다.

3. 주요 기여

1. 증거 풀 기반 HUBO 프레임워크: 본 논문은 추론 파편을 집계하는 문제를 구조화된 조합 최적화 문제로 정의합니다. 이는 소수이지만 정당한 가설을 효과적으로 경쟁시킬 수 있는 가설별 최적화 전략을 도입합니다.
2. 이론적 분석: 저자들은 다음을 입증하는 이론적 분석을 제공합니다:
   • HUBO 가중치는 (빈도 기반 방식과 달리) 트레이스 풀 크기와 독립적입니다.
   • 각 풀 단위의 분해는 순열 불변성(permutation invariance) 하에서의 결합 최적화와 수학적으로 동일합니다.
   • 본 프레임워크는 가중치를 빈도를 반영하도록 설정하면 다수결 예측을 복구할 수 있지만, 기본적으로는 품질 기반 선택을 수행합니다.
   • 이 방법은 판정자의 편향(예: 위치 편향)을 완화하기 위한 하한선(lower bound)을 제공합니다.
3. 실험적 평가: 연구는 두 가지 법률 벤치마크(MMLU-Pro Law 및 LEXam)에서 고전 시뮬레이티드 어닐링과 Dirac-3 양자 머신을 모두 사용하여 EP-HUBO를 평가합니다. 두 종류의 서로 다른 로컬 트레이스 생성기와 두 종류의 최첨단 판정기를 활용합니다.

4. 실험 결과

MMLU-Pro Law (영미법) 성능

• 다수결(Majority Vote, MV) 대비: EP-HUBO는 MV를 유의미하게 능가합니다. Opus 판정자와 Qwen-35B 트레이스를 사용했을 때 **+12.6 퍼센티지 포인트(pp)**의 이득을 얻었으며, OSS-20B 트레이스를 사용했을 때는 +27.9 pp의 이득을 얻었습니다.
• 제로샷(Zero-Shot, ZS) 대비: EP-HUBO는 직접적인 최첨단 모델 호출보다 측정 가능한 이득을 제공합니다. Opus를 사용했을 때, Qwen-35B 트레이스로는 ZS 정확도 대비 +1.5 pp, OSS-20B 트레이스로는 +0.7 pp의 향상을 보였습니다.
• HUBO 정밀도(Precision): 정밀도(ZS와의 불일치 중 승리 비율)는 대부분의 구성에서 50%를 초과하였으며, 이는 HUBO가 제로샷 모델과 의견이 다를 때 정답일 확률이 더 높음을 나타냅니다.

LEXam (스위스/국제법) 성능

LEXam은 최첨단 모델의 학습 데이터가 제한적인 저오염(low-contamination) 벤치마크입니다.

• 편향 완화: 제로샷 Claude Sonnet 4.6은 심각한 **위치 편향(position bias)**을 보였는데, 정답 비율이 약 13%임에도 불구하고 옵션 "E"를 **87.7%**의 확률로 선택하여 22.3%의 정확도를 기록했습니다.
• EP-HUBO의 영향: 증거를 선택함으로써 EP-HUBO는 이 편향을 줄였습니다. Qwen-35B 트레이스를 사용한 경우, HUBO+Sonnet은 **42.5%**의 정확도(ZS Sonnet 대비 +20.2 pp 이득)와 **92.0%**의 HUBO 정밀도를 달성했습니다.
• 다수결(MV) 대비: LEXam에서 MV는 로컬 모델들에게 해당 도메인이 어려웠기 때문에 종종 약한 모습을 보였습니다. OSS-20B 트레이스를 사용한 EP-HUBO+Opus는 MV 대비 +23.2 pp의 성능 향상을 보였습니다.

양자 vs. 고전 솔버

• LEXam: Dirac-3 양자 솔버는 고전적인 시뮬레이티드 어닐링(SA)과 대등한 결과를 생성했습니다. 일부 구성(예: Qwen-35B + Opus)에서는 양자 솔버가 고전 SA를 약간 상회했습니다(+1.0 pp).
• MMLU-Pro Law: 양자 솔버는 고전 SA보다 5~8 pp 낮은 성능을 보였습니다. 저자들은 이를 3차 목적 함수에 대한 Dirac-3의 135개 변수 제한 때문이라고 설명합니다. 파편 풀이 이 제한을 초과할 때 시스템은 상호작용 그래프를 축소해야 했던 반면, 고전 솔버는 전체(축소되지 않은) HUBO 지형에서 작동했기 때문입니다.

5. 의의 및 주장

본 논문은 EP-HUBO가 추론 파편을 집계하는 원칙적인 방법을 제공하며, 특히 최첨단 모델이 벤치마크 내용을 아직 완전히 흡수하지 못한 저오염 도메인에서 소수이지만 정답인 가설을 보존하는 데 가치가 있다고 주장합니다.

• 인기와의 분리: 핵심적인 의의는 집계 로직을 "무엇이 가장 흔한가"에서 "무엇이 가장 잘 뒷받침되는가"로 전환하여, 노이즈가 섞인 다수를 압도할 수 있게 한 데 있습니다.
• 편향 노출: 이 프레임링은 스위스 법 관련 질문에서 관찰된 Claude Sonnet의 심각한 위치 편향과 같은 최첨단 모델의 특이성을 드러내고 완화합니다.
• 양자 유용성: 본 연구는 양자 영감 기반의 HUBO 솔버가 특수 도메인에서 고전적 방법과 경쟁할 수 있음을 보여주지만, 하드웨어 제약(변수 제한 등)이 관리되어야 함을 명시합니다. 다만, 저자들은 양자 우위에 대해 신중한 태도를 보이며, 현재로서는 고전 SA와 유사한 수준이며 하드웨어 용량에 의해 제한적이라고 언급했습니다.
• 실제 배포: 저자들은 EP-HUBO가 정확도를 높이고 편향을 줄이지만, 규제 산업에서는 투명성과 선택된 증거의 감사 로그가 중요한 안전장치로 남아 있으므로 인간의 개입(human-in-the-loop) 검토가 여전히 필요함을 강조합니다.

결론적으로, 이 방법은 로컬 트레이스 생성기가 다양한 증거 풀을 생성하고, 최첨단 판정기가 최적화된 증거를 합성할 수 있을 만큼 충분히 강력하되, 이미 벤치마크를 암기할 정도로 너무 강력하지 않은(저오염) 상황에서 가장 효과적입니다.