기술 요약: 개방형 자기 일관성을 위한 표현 공간에서의 합의(Agreement in Representation Space for Open-Ended Self-Consistency)

문제 정의

자기 일관성(Self-consistency)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 주요 추론 시점 전략으로 부상했습니다. Wang 등(2022)이 제안한 고전적인 방법들은 여러 추론 경로를 샘플링하고 다수결 투표를 통해 가장 빈번한 최종 답변을 선택하는 방식으로 작동합니다. 이는 범주형 출력(예: 수학적 추론, 객관식 질문)에는 매우 효과적이지만, 이 방식은 정확한 기호적 매칭(exact symbolic matching)에 의존합니다.

코드 합성, 텍스트 요약, 자유 형식 추론과 같은 개방형 생성 작업으로 자기 일관성을 확장하는 것은 상당한 과제를 안겨줍니다. 이러한 환경에서는 의미론적으로 동일한 응답이라 할지라도 어휘적 또는 구조적 수준에서 크게 다를 수 있어, 정확한 매칭을 통한 접근이 무력해집니다. 최근 이를 해결하기 위해 LLM 기반 평가를 사용하는 Universal Self-Consistency (USC) (Chen et al., 2023)나 불확실성 신호에 의존하는 Self-Certainty (SCe) (Kang et al., 2026)와 같은 시도들이 있었으나, 이들은 확장성, 계산 비용 및 안정성 측면에서 새로운 한계를 보였습니다.

방법론: 임베딩 기반 합의 (Embedding-Based Agreement, EBA)

저자들은 개방형 생성에서의 자기 일관성이 단순히 기호적 중첩의 속성이 아니라, 생성 공간의 기하학적 속성이라고 가설을 세웠습니다. 구체적으로, 그들은 의미적으로 호환 가능한 생성물들이 표현 공간 내의 유사하고 조밀한 영역에 집중되는 반면, 일관되지 않거나 품질이 낮은 생성물들은 고립되거나 희소하게 분포한다고 가정합니다.

이 가설을 실행에 옮기기 위해, 본 논문은 다음과 같은 단계로 일관성을 추정하는 학습이 필요 없는(training-free) 프레임워크인 **임베딩 기반 합의(EBA)**를 도입합니다.

1. 샘플링: 입력 프롬프트 $x$가 주어지면, 언어 모델로부터 $N$개의 후보 생성물 $\{y_1, \dots, y_N\}$을 샘플링합니다.
2. 임베딩: 각 생성물을 임베딩 함수 $\phi(\cdot)$를 사용하여 연속적인 표현 공간으로 매핑하여 벡터 $\{e_1, \dots, e_N\}$을 생성합니다.
3. 클러스터링: 코사인 거리를 사용하여 응집형 클러스터링(agglomerative clustering)을 수행합니다. 클러스터의 개수는 실루엣 분석(silhouette analysis)을 통해 자동으로 결정됩니다.
4. 선택: 더 많은 생성물을 포함하는 클러스터를 강력한 합의가 존재하는 영역으로 해석합니다. 최종 예측값은 지배적인 클러스터의 중심점(centroid)에 가장 가까운 샘플로 선택됩니다.

이 프레임워크는 모델 불가지론적(model-agnostic)으로 설계되었으며, 선택 과정을 위해 추가적인 학습이나 외부 LLM 평가자를 필요로 하지 않습니다.

주요 기여

1. 자기 일관성의 기하학적 해석: 본 논문은 자기 일관성을 이산적인 투표 메커니즘에서 샘플링된 생성물들이 표현 공간 내에서 집단적으로 조직되는 기하학적 현상으로 재정의합니다.
2. EBA 프레임워크: 임베딩 공간에서의 클러스터링을 활용하여 개방형 작업을 위한 고품질 출력을 선택하는 간단하고 학습이 필요 없는 방법(E-BA)을 도입합니다.
3. 실증적 검증: 수학적 추론(MATH500), 코드 생성(HumanEval), 요약(CNN/DM)의 세 가지 서로 다른 도메인에 걸친 포괄적인 실험을 수행했습니다.
4. 스케일링 및 강건성 분석: 연구는 합의 신호가 샘플링 예산이 증가함에 따라 강화되며, 다양한 모델 제품군(Llama, Qwen), 모델 규모(8B에서 70B), 임베딩 공간(사전 학습된 모델 vs. 네이티브 은닉 표현) 전반에서 강건하게 유지됨을 입증합니다.
5. 기하학적 품질 상관관계: 분석 결과, 생성물의 기하학적 위치와 품질 사이에 강한 상관관계가 있음을 밝혀냈습니다. 표현 공간의 중앙 영역에 집중된 생성물은 더 신뢰할 수 있는 출력을 생성하는 반면, 주변부의 생성물은 정확도가 현저히 낮았습니다.

실험 결과

저자들은 Llama 3.1-8B/70B 및 Qwen 3-8B/32B 모델을 사용하여 EBA를 무작위 선택(random selection), USC, SCe와 비교 평가했습니다.

• 성능 향상: EBA는 무작위 선택보다 일관되게 우수한 성능을 보였습니다. 성능 향상은 코드 생성(HumanEval에서 최대 +4 포인트)과 수학적 추론(MATH500에서 최대 +17 포인트)에서 가장 두드러졌습니다. 요약에서의 이득은 작지만 일관되었습니다 (+1 ROUGE-1 포인트).
• 스케일링 동작: 컨텍스트 제한이나 평가 노이즈로 인해 후보 수가 증가함에 따라 성능이 저하되는 경우가 많은 USC와 달리, 불안정한 스케일링을 보이는 SCe와 달리, EBA는 샘플링 예산($n$)이 1에서 256으로 증가함에 따라 안정적이고 거의 단조로운(near-monotonic) 개선을 보입니다.
• 강건성: EBA의 효과는 서로 다른 임베딩 모델(Qwen, Gemma)과 생성 모델에서 직접 추출한 네이티브 은닉 표현을 사용하는 경우에도 유효하며, 이는 해당 신호가 생성 분포에 내재되어 있음을 시사합니다.
• 고전적 SC와의 연결: MATH500에 적용했을 때, 추출된 최종 답변에 대해 EBA는 고전적인 다수결 투표의 스케일링 동작을 밀접하게 모방하며, 이는 기존 자기 일관성 원리의 연속적인 확장임을 시사합니다.

의의 및 주장

본 논문은 자기 일관성을 샘플링된 생성물의 기하학적 속성으로 보는 관점이 범주형 및 개방형 작업 모두를 위한 통합된 시각을 제공한다고 주장합니다. 이 연구의 주요 의의는 다음과 같습니다:

• 개방형 생성에서 일관된 출력을 선택하기 위해 LLM 기반 평가를 대체할 수 있는 강력하고 확장 가능하며 계산 효율적인 대안을 제공합니다.
• 일관성 신호가 모델 규모와 임베딩 공간(네이티브 표현 포함) 전반에 걸쳐 안정적임을 입증합니다.
• 생성물 분포가 차지하는 표현 공간의 "중심"이 출력 신뢰도의 강력한 지표임을 확립합니다.

저자들은 결론적으로, 자기 일관성에 대한 이해가 정확한 기호적 중첩에서 표현 공간의 기하학적 조직으로 전환되어야 함을 지지하며, 이는 표현 공간의 구조에 기반한 추론 시점 선택의 새로운 방향을 제시한다고 밝힙니다.

한계점

논문은 다음과 같은 몇 가지 한계점을 인정합니다:

• 표현 기하학: 현재의 임베딩 공간은 낮은 분리 기하 구조(예: 좁은 고차원 원뿔에 집중됨)를 보일 수 있으며, 이는 근접성이 항상 완벽한 의미론적 동등성을 의미하지는 않음을 뜻합니다.
• 클러스터링 휴리스틱: 응집형 클러스터링과 실루엣 분석에 대한 의존은 생성 공간의 미세한 국소 구조를 완전히 포착하지 못할 수 있습니다.
• 계산 오버헤드: LLM 평가보다는 저렴하지만, EBA 역시 여러 개의 샘플을 생성하고 임베딩을 계산해야 하므로 매우 큰 샘플링 예산이나 긴 생성물에 대해서는 비용이 발생할 수 있습니다.
• 범위: 평가는 요약, 코드, 수학에 국한되어 있으며, 대화나 에이전트 추론과 같은 도메인에 대한 추가적인 평가가 필요합니다.