기술 요약: VecCISC

문제 제기

대규모 언어 모델 (LLM) 에서 추론 시간 추론 (inference-time reasoning) 을 확장하는 것은 복잡한 작업의 성능을 향상시키는 표준적인 접근 방식이 되었습니다. 기초 기술인 **자기 일관성 (Self-Consistency, SC)**은 여러 추론 경로를 샘플링하고 가장 빈번한 답변을 선택하는 것을 포함합니다. 더 최근에는 **신뢰도 기반 자기 일관성 (Confidence-Informed Self-Consistency, CISC)**이 "두 번 생각하기 (think twice)" 패러다임을 적용하여 각 후보의 추론 경로를 평가하는 크리틱 LLM 을 통해 신뢰도 점수를 부여한 후, 이를 가중치 다수결 투표에 활용함으로써 우수한 정확도를 입증했습니다.

그러나 CISC 는 상당한 추론 오버헤드와 비용 문제를 겪습니다. 크리틱 LLM 은 샘플링된 모든 추론 경로에 대해 호출되어야 하기 때문에, 토큰 사용량과 지연 시간이 표준 SC 에 비해 실질적으로 두 배가 됩니다. 또한, 단순한 CISC 는 환각, 퇴화, 또는 의미적으로 중복된 경로를 포함한 모든 샘플을 동등하게 취급하여, 최종 결정에 기여하지 않는 저품질 출력에 컴퓨팅 자원을 낭비합니다.

방법론: VecCISC

이러한 비효율성을 해결하기 위해 저자들은 정확도를 희생하지 않으면서 크리틱 평가가 필요한 추론 경로의 수를 줄이는 경량 적응형 프레임워크인 VecCISC를 제안합니다. 파이프라인은 다음과 같이 작동합니다:

1. 샘플링: LLM($LLM_{gen}$) 이 주어진 프롬프트에 대해 $n$개의 추론 경로 - 답변 쌍을 생성합니다.
2. 임베딩 생성: 각 추론 경로는 사전 훈련된 임베딩 모델 ($Emb$) 을 사용하여 벡터 임베딩으로 변환됩니다.
3. 답변별 그룹화: 경로들은 결과 답변 ($a$) 에 따라 그룹화됩니다. 이는 클러스터링 전에 서로 다른 후보 답변이 보존되도록 보장합니다.
4. 클러스터링: 각 답변 그룹 내에서 임베딩은 KMeans 또는 **계층적 응집 클러스터링 (HAC)**과 같은 알고리즘을 사용하여 클러스터링됩니다. 목표는 의미적으로 동등한 경로를 식별하고, 이상치 (환각 또는 퇴화된 텍스트) 를 격리하는 것입니다. 클러스터 수 ($K$) 는 홀드아웃 세트에서 그리드 검색을 통해 결정됩니다.
   • 참고: 저자들은 고차원 임베딩 공간에서 거리 임계값의 민감성으로 인해 DBSCAN 을 명시적으로 피합니다.
5. 대표자 선택: 각 클러스터에서 단일 대표 경로가 선택됩니다. 이는 클러스터 임베딩의 중심점 (centroid) 을 계산하고 코사인 유사도를 사용하여 이 중심점에 가장 가까운 경로를 선택함으로써 달성됩니다. 저자들은 중심점에 가장 가까운 경로가 비정상적인 추론 오류를 포함할 가능성이 가장 낮다고 주장합니다.
6. 신뢰도 점수 부여: 모든 $n$개의 경로를 평가하는 대신, 크리틱 LLM($LLM_{critic}$) 은 각 클러스터의 대표 경로에 대해서만 프롬프트를 받습니다.
7. 최종 집계: 대표자들의 신뢰도 점수는 (조정 가능한 온도 $T$를 사용하는 softmax 를 통해) 정규화되어 최종 답변을 선택하기 위한 가중치 다수결 투표에 사용됩니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

• 새로운 프레임워크: 크리틱이 분석하는 풀에서 중복되고 저품질인 샘플을 제거하여 "두 번 생각하기" 패러다임의 비용을 줄이는 추론 경로 클러스터링을 활용하는 VecCISC 의 도입.
• 실증적 검증: 수학, 화학, 생물학, 상식 추론, 인문학 등 다섯 가지 다양한 데이터셋과 7B 에서 70B 파라미터에 이르는 다섯 가지 다른 LLM 을 통한 광범위한 실험은 VecCISC 가 표준 CISC 의 정확도를 유지하거나 초과하면서 총 토큰 예산을 47% 줄인다는 것을 입증합니다.
• 비교 분석: 이 연구는 무작위 후보 선택 ($K$개 샘플) 에 대한 클러스터링 기반 선택 (KMeans 및 HAC) 을 비교하여, 이상적인 대표자를 식별하는 데 의미적 클러스터링이 무작위 샘플링보다 우월함을 증명합니다.
• 오픈 소스: 저자들은 추가 연구를 촉진하기 위해 코드를 공개할 것을 약속합니다.

결과

실험은 AQuA-RAT, CommonsenseQA, ARC-Challenging, MMLU-Pro, GPQA의 다섯 가지 데이터셋에서 수행되었습니다.

• 비용 절감: VecCISC 는 크리틱 LLM 호출 횟수를 크게 줄입니다. VecCISC + KMeans 는 크리틱 호출을 평균 34.68% 줄였으며, VecCISC + HAC 은 30.2% 줄였습니다. 전체 파이프라인 (초기 샘플링 포함) 을 고려할 때 총 토큰 사용량은 47% 감소했습니다.
• 토큰 효율성: "최소 중심점 (min-centroid)" 선택 전략 (클러스터 중심에 가장 가까운 경로를 선택) 은 무작위 경로 선택보다 일관되게 우수한 성과를 보였으며, 크리틱 구성 요소 (총 토큰의 약 77% 차지) 에 대한 토큰 소비를 줄였습니다.
• 정확도: VecCISC 변형들은 거의 모든 모델 - 데이터셋 조합에서 표준 자기 일관성 및 CISC 를 일관되게 능가하거나 일치했습니다. 특히, VecCISC + HAC 은 대부분의 구성에서 가장 좋은 평균 결과를 달성했으며, 일부 경우에는 고품질 경로의 축소된 세트가 CISC 대비 약간의 정확도 향상을 가져왔습니다.
• 절대 실험 (Ablation): 클러스터링 없이 무작위로 $K$개의 경로를 선택하는 "VecCISC (random)" 기준선은 CISC 와 SC 모두보다 현저히 낮은 성능을 보였으며, 노이즈와 퇴화된 경로를 필터링하기 위한 의미적 클러스터링의 필요성을 강조했습니다.

중요성 및 주장

본 논문은 VecCISC 가 기존 "두 번 생각하기" 파이프라인에 효과적이고 경량화된 확장을 제공한다고 주장합니다. 저자들은 의미적으로 동등하고 퇴화된 경로를 필터링함으로써, 크리틱 LLM 이 더 작고 고품질의 추론 경로 집합에 집중할 수 있게 한다고 주장합니다. 이 접근 방식은 신뢰도 보정과 관련된 prohibitive 추론 비용을 완화하면서도 모델 성능을 유지하고, 경우에 따라 향상시킵니다.

저자들은 일반화 가능성에 대해 겸손한 태도를 유지하며, 적응성을 보장하기 위해 범용 임베딩 모델 ($text-embedding-3-small$) 을 사용했지만, 특수 작업은 도메인별 미세 조정 임베딩 모델의 혜택을 받을 수 있다고 지적합니다. 또한, 하이퍼파라미터$K$(클러스터 수) 와$T$(softmax 온도) 가 현재 데이터 기반 그리드 검색을 필요로 한다는 점을 인정하며, 향후 연구가 사전 데이터 없이 이러한 매개변수를 선택하는 적응형 방법을 탐구할 수 있음을 시사합니다.