🤖 machine learning

Training-free LLM Verification via Recycling Few-shot Examples

본 논문은 소수의 예시를 재활용하여 순방향 신뢰도 점수 산출과 역방향 재구성 페널티의 결합을 통해 후보 출력값을 평가함으로써 LLM의 정확도를 향상시키는 학습이 필요 없는 프레임워크인 ReFeri를 제안하며, 이를 통해 다양한 작업에 걸쳐 평균 8.2%의 상대적 이득을 달성하였다.

원저자: Dongseok Lee, Jimyung Hong, Dongyoung Kim, Jaehyung Kim

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dongseok Lee, Jimyung Hong, Dongyoung Kim, Jaehyung Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)은 이야기를 쓰고, 수학 문제를 풀고, 컴퓨터 코드를 디버깅할 수 있는 강력한 도구입니다. 이 모델들은 방대한 양의 텍스트로부터 학습하여 인간의 추론을 모방하며, 문장에서 다음에 올 단어를 예측하는 방식으로 작동합니다. 하지만 이러한 모델들은 확률에 기반하여 텍스트를 생성하기 때문에 항상 일관되지는 않습니다. 같은 질문을 두 번 하거나 한 번에 여러 개의 답을 생성하도록 요청하면, 매번 다른 응답을 내놓을 수 있습니다. 이 중 일부 답변은 매우 뛰어나지만, 다른 답변들은 미묘한 오류나 논리적 공백을 포함하기도 합니다. 이러한 무작위성은 어떤 버전이 옳은지 확인할 방법 없이는 모델의 출력을 신뢰하기 어렵게 만듭니다. 전통적으로 연구자들은 모델에게 많은 답변을 생성하게 한 뒤 가장 흔한 것을 선택하거나, 별도의 전문화된 컴퓨터 프로그램을 훈련시켜 심판 역할을 맡기는 방식으로 이를 해결하려 노력해 왔습니다. 그러나 이러한 방법들은 시를 쓰거나 복잡한 코드를 생성하는 것과 같이 단 하나의 '정답'을 셀 수 없는 개방형 작업에서는 실패하는 경우가 많으며, 항상 가능한 것은 아닌 비용이 많이 드는 새로운 훈련을 요구하기도 합니다.

연세대학교와 KAIST의 연구팀은 추가적인 훈련이나 전문적인 심판 없이 이 문제를 해결할 수 있는 새로운 방법을 제안했습니다. 그들은 이 방법을 ReFeri라고 부르며, 이는 'Few-shot 예시를 재활용하여 LLM 출력 검증하기(Recycling Few-shot examples to verify LLM outputs)'의 약자입니다. 핵심 아이디어는 놀라울 정도로 간단합니다. 연구진은 모델에게 주어진 예시들을 단순히 답변 생성을 위한 시작점으로 취급하는 대신, 그 동일한 예시들을 모델이 생성한 답변을 평가하는 '측정 기준'으로 사용하기로 했습니다. 사용자가 복잡한 질문을 할 때, 대개 이전에 유사한 문제가 어떻게 해결되었는지 보여주는 몇 가지 예시를 함께 제공합니다. 이 예시들은 모델에게 원하는 스타일과 논리를 보여주는 가이드 역할을 합니다. 연구진은 이러한 예시들이 좋은 답변이 어떠해야 하는지에 대한 숨겨 된 정보를 담고 있다는 점을 깨달았고, 그 정보를 사용하여 나쁜 답변을 걸러내는 방법을 찾아냈습니다.

프로세스는 동일한 질문에 대해 여러 개의 서로 다른 응답을 생성하는 방식으로 진행됩니다. 시스템은 그다음 원래의 예시들로부터 유도된 두 가지 상충하는 신호를 사용하여 각 응답에 점수를 매깁니다. 첫 번째 신호는 응답이 예시의 지침을 얼마나 잘 따르는지를 측정하며, 본질적으로 "이 답변이 이 집단에 속하는 것처럼 보이는가?"라고 묻습니다. 두 번째 신호는 페널티 역할을 하며, 응답이 실제 문제를 해결하는 것이 아니라 단순히 표면적인 패턴이나 특정 특징만을 복제하고 있는지를 확인합니다. 만약 응답이 실제 문제를 이해하지 못한 채 예시를 너무 밀접하게 흉내 낸다면 높은 페널티를 받게 됩니다. 최종 점수는 지침을 따르는 것과 맹목적인 모방을 피하는 것 사이의 균형입니다. 시스템은 지침 점수에서 페널티를 뺌으로써, 예시를 단순히 복사할 템플릿이 아니라 논리적 토대로 가장 잘 활용한 답변을 선택합니다.

실험에서 연구진은 이 방법을 세 가지 서로 다른 거대 언어 모델에 적용하여 어려운 수학 문제 풀기부터 복잡한 과학 질문 답변, 코드 작성에 이르기까지 7가지 다양한 과제를 테스트했습니다. 그들은 ReFeri가 모델의 정확도를 일관되게 향상시킨다는 것을 발견했습니다. 평균적으로, 이 방법은 생성된 옵션 중 무작위 답변을 선택했을 때보다 성능을 8.2% 높였습니다. 훈련이 필요 없는 기존의 가장 강력한 방법들과 비교했을 때도, ReFeri는 정확도를 추가로 2.6% 더 개선했습니다. 연구진은 특히 이 접근 방식이 많은 수의 선택지 중에서 답을 골라야 할 때도 잘 작동하는지에 관심을 가졌습니다. 그들은 최대 20개의 후보 답변을 대상으로 시스템을 테스트했으며, 다른 방법들은 선택지의 수가 증가함에 따라 성능이 저하되는 경우가 많은 반면, ReFeri는 더 많은 옵션이 추가될수록 성능이 계속 향상된다는 것을 발견했습니다. 이는 시스템이 더 다양한 선택지를 가질 때 최선의 답변을 찾아내는 능력이 더 좋아진다는 것을 시사합니다.

가장 중요한 발견 중 หนึ่ง은 이러한 개선이 검증을 위해 거대하고 강력한 컴퓨터를 사용하는 것에 의존하지 않는다는 점이었습니다. 연구진은 훨씬 작고 가벼운 모델이 더 큰 모델만큼 효과적으로 검증을 수행할 수 있음을 보여주었습니다. 이는 이 방법이 효율적이고 비용 효율적이라는 점에서 매우 중요합니다. 이 방법은 새로운 심판을 훈련시키거나 복잡한 검증 시스템을 실행하는 데 필요한 막대한 계산 자원을 요구하지 않습니다. 이 방법의 성공은 컴퓨터의 원초적인 힘보다는 Few-shot 예시를 사용하는 영리한 방식에서 기인하는 것으로 보입니다. 연구진은 또한 개인화된 뉴스 헤드라인 생성이나 코드 작성과 같이 단일 정답을 셀 수 없어 전통적인 투표 방식이 실패하는 개방형 작업에서도 이 방법을 테스트했습니다. 이러한 시나리오에서도 ReFeli는 다른 접근 방식들을 능가하며, '정답'이 단순한 사실이 아니라 잘 구성된 솔루션인 복잡하고 창의적인 작업을 처리할 수 있는 능력을 입증했습니다.

연구진은 또한 의도적으로 예시를 나쁘게 만들거나 답변의 순서를 변경했을 때 어떤 일이 일어나는지 분석함으로써 왜 이 방법이 잘 작동하는지 탐구했습니다. 그들은 예시가 완벽하지 않더라도 시스템이 견고하게 유지되며, 답변이 제시되는 순서에 의해 쉽게 혼란을 느끼지 않는다는 것을 발견했습니다. 이러한 안정성은 이 방법이 단순히 패턴을 암기하는 것이 아니라, 예시와 새로운 문제 사이의 관계를 진정으로 이해하고 있음을 시사합니다. Few-shot 예시를 재활용함으로써, 연구진은 모델을 재훈련하거나 인간의 감독 없이도 거대 언어 모델이 더 신뢰할 수 있게 만드는 도구를 만들어냈습니다. 이 접근 방식은 기존 모델으로부터 더 나은 결과를 얻을 수 있는 실질적인 방법을 제공하며, 정확성이 중요한 실제 응applications에서 모델을 더욱 신뢰할 수 있게 만듭니다. 이 연구는 우리가 모델에게 주는 예시들이 단순히 작업을 시작하기 위한 지침일 뿐만 아니라, 그들이 생산하는 작업의 품질을 확인하는 데에도 귀중한 자원임을 강조합니다.

기술 요약: 소수의 예시를 재활용하는 학습 불필요 LLM 검증 (ReFeri)

문제 정의

대규모 언어 모델(LLM)은 복잡한 추론 작업에서 놀라운 능력을 보여주었으나, 고유의 확률적 특성으로 인해 동일한 입력에 대해 서로 다른 결론을 내리는 경우가 빈번하다. 이러한 무작위성을 완화하기 위해 다수결 투표(Majority Voting) 및 Best-of-N 선택과 같은 방법들이 탐구되었으나, 이들은 상당한 한계에 직면해 있다. 다수결 투표는 정답 추출이 용이한 작업에 국한되어 코드나 대화와 같은 개방형 생성(open-ended generation)에는 적용할 수 없다. 외부 검증기(보상 모델)를 학습시키는 방식은 방대한 양의 작업별 레이블 데이터가 필요하며, 보지 못한 도메인에 대한 일반화 능력이 부족한 경우가 많다. 반대로, 모델의 내부 확신도(예: Self-Certainty, CoT-WP)나 LLM-as-Judge 프레임워크에 의존하는 학습 불필요(training-free) 대안들은 모델이 생소한 도메인이나 내재적 지식이 신뢰할 수 없는 복잡한 추론 경로에 직면했을 때 미교정(miscalibration) 문제를 겪는 경우가 많다.

방법론: ReFeri

저자들은 퓨샷 프롬프팅(few-shot prompting)을 통해 생성된 $N$ 개의 후보군 중에서 최적의 응답을 선택하기 위해 설계된 학습 불필요 프레임워크인 ReFeri(Recycling Few-shot examples to verify LLM outputs)를 제안한다. 핵심 혁신은 제공된 퓨샷 예시들을 단순히 생성만을 위한 것이 아니라 엄격한 검증 신호로 활용한다는 점에 있다.

ReFeri는 쿼리 $e_q$ 가 주어졌을 때 후보 응답 $r_n$ 의 가능도(likelihood) $P(y_n)$ 에 대한 베이즈 기반 분해에 근거한다. ReFeri는 잠재적으로 미교정될 수 있는 직접적인 가능도 $P(r_n | e_q)$ 에만 의존하는 대신, 점수를 두 가지 상보적인 항으로 분해한다:

순방향 확신도 점수 ( $S_{Forw}$ ): 퓨샷 예시들이 주어졌을 때 후보 응답의 가능도( $P(r_n | e_q, X)$ )를 측정한다. 이는 출력이 퓨샷 컨텍스트에서 보여준 추론 패턴 및 형식과 일치하는지 확인한다.
역방향 재구성 페널티 ( $S_{Back}$ ): 퓨샷 데몬스트레이션에 과도하게 특화된 후보들을 억제하는 항이다. 이는 후보 쌍에 조건화(conditioning)하는 것이 원래의 퓨샷 예시들을 재구성하는 가능도를 얼마나 높이는지( $P(X | r_n) - P(X)$ )를 측정한다. 높은 역방향 점수는 후보가 특정 타겟 쿼리에 대해 추론하기보다 표면적인 아티팩트(artifact)를 모방하거나 데몬스트레이션에 과적합(overfitting)되었음을 시사한다.

최종 선택 점수는 다음과 같이 정의된다:
$S_{Fin}(y_n) = S_{Forw}(y_n) - \tilde{S}_{Back}(y_n)$

계산 효율성을 보장하기 위해, 역방향 항은 최근접 이웃(nearest-neighbor) 전략을 사용하여 근사화된다. 모든 $K$ 개의 퓨샷 예시를 평가하는 대신, 임베딩 모델을 사용하여 테스트 쿼리와 의미론적으로 가장 관련 있는 단일 예시( $x_{i^\dagger}$ )를 식별하고, 해당 특정 예시만을 재구성하는 것을 기준으로 페널티를 계산한다. 이를 통해 복잡도를 후보당 $O(K)$ 에서 $O(1)$ 로 줄인다.

주요 기여

새로운 검증 프레임워크: ReFeri는 퓨샷 예시를 생성과 검증 모두에 재활용하는 학습 불필요 접근 방식을 도입하여, 외부 레이블 데이터 없이도 내부 확신도 점수의 미교정 문제를 해결한다.
양방향 점수 메커니즘: 이 방법은 순방향 가이드 신호와 역방향 재구성 페널티를 독특하게 결합한다. 이 설계는 데몬스트레이션 패턴을 단순히 모방하는 후보(과적합)를 명시적으로 억제하는 동시에, 근본적인 추론 로직을 따르는 후보에게 보상을 준다.
경량성 및 확장성: 이 프레임워크는 경량 추정 모델(예: 1B 파라미터 모델)로 효과적으로 작동하며, 후보 응답의 수에 따라 잘 확장되어 더 무거운 베이스라인들과 비교했을 때 유리한 비용-정확도 트레이드오프를 제공한다.
일반화 가능성: 정답 추출이 가능한 작업에 제한되는 방법들과 달리, ReFeri는 코드 생성 및 개인화된 텍text 생성과 같은 개방형 생성 작업에도 적용 가능하다.

실험 결과

저자들은 세 가지 서로 다른 LLM(GPT-4o, GPT-4o-mini, LLaMA-3.1-8B)과 7가지 다양한 벤치마크(MATH500, MMLU-Pro, HotpotQA, DROP, GPQA-diamond, MuSR)를 통해 ReFeri를 평가하였다.

성능 향상: ReFeri는 무작위 선택(Few-shot CoT) 대비 평균 8.2%, 가장 강력한 학습 불필요 베이스라인(Self-Certainty) 대비 **2.6%**의 상대적 정확도 향상을 달了.
테스트 타임 스케일링: 후보 응답의 수( $N$ )가 1에서 20으로 증가함에 따라, ReFeri는 선택 정확도를 지속적으로 개선했다. 반면, CoT-WP 및 USC와 같은 베이스라인들은 $N$ 이 증가함에 따라 성능이 저하되거나 정체되는 모습을 보였다.
강건성: 이 방법은 1B 추정 모델을 사용할 때도 효과적으로 작동하여, 성능 향상이 추정기의 용량이 아닌 점수 설계에서 비롯됨을 입증했다. 또한 퓨샷 예시의 품질, 프롬프트 형식, 추정기 교정의 변화에 대해서도 강건함을 보여주었다.
개방형 작업: 개방형 생성 작업(개인화를 위한 LaMP 및 코드를 위한 LiveCodeBench)에서 ReFeri는 다수결 투표나 정답 추출 방법이 적용 불가능하거나 효과적이지 않은 베이스라인들을 능가했다.

의의 및 주장

본 논문은 ReFeri가 최소한의 인간 개입으로 신뢰할 수 있는 LLM 출력을 식별하는 실용적인 학습 불필요 솔루션을 제공한다고 주장한다. 퓨샷 예시를 단순한 생성 가이드가 아닌 검증 메커니즘으로 재해석함으로써, ReFeri는 생소한 도메인에서의 확신도 미교정 문제를 완화한다. 저자들은 이 접근 방식이 외부 검증기를 학습시키는 것의 확장 가능한 대안을 제공하며, 특히 레이블 데이터가 부족하거나 미세 조정(fine-tuning)이 불가능한 시나리오에서 매우 가치 있다고 강조한다. 실험 결과는 "역방향 재구성 페널티"가 데몬스트레이션 특유의 의존성을 효과적으로 포착하는 직교(orthogonal) 신호 역할을 하여, 모델이 진정한 추론과 표면적인 모방을 구분할 수 있게 해준다는 점을 시사한다.