💬 NLP

Finding the Cracks: Improving LLMs Reasoning with Paraphrastic Probing and Consistency Verification

이 논문은 추론 과정의 중간 단계에서 발생하는 오류와 환각을 줄이기 위해 질문의 재구문을 활용한 중요 토큰 탐지와 일관성 검증을 결합한 PPCV 프레임워크를 제안하여 대형 언어 모델의 추론 능력을 획기적으로 향상시키는 방법을 제시합니다.

원저자: Weili Shi, Dongliang Guo, Lehan Yang, Tianlong Wang, Hanzhang Yuan, Sheng Li

게시일 2026-02-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weili Shi, Dongliang Guo, Lehan Yang, Tianlong Wang, Hanzhang Yuan, Sheng Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧱 핵심 비유: "잘못된 벽돌 하나를 찾아서 고치는 기술"

생각해 보세요. 언어 모델이 수학 문제를 풀 때, 마치 벽돌로 높은 탑을 쌓는 과정과 같습니다.

첫 번째, 두 번째 벽돌을 잘 쌓습니다.
그런데 **어느 순간, 잘못된 벽돌 (실수)**을 하나 올립니다.
그 잘못된 벽돌 때문에 그 위에 쌓인 모든 벽돌이 비틀거리고, 결국 탑이 무너집니다 (정답을 못 찾음).

기존의 방법들은 "탑을 여러 번 다시 쌓아보라 (Self-Consistency)"거나 "스스로 "아, 내가 잘못 쌓았네"라고 고쳐보라 (Self-Correction)"는 식이었습니다. 하지만 모델은 자신이 어디에서 잘못 쌓았는지 잘 모르고, 고치려 해도 더 엉망이 되곤 합니다.

이 논문은 **"어느 벽돌이 잘못되었는지 정확히 찾아내서, 그 벽돌만 다른 것으로 바꿔보라"**는 새로운 전략을 제시합니다.

🛠️ 이 논문이 제안하는 두 단계의 방법 (PPCV)

이 방법은 크게 두 단계로 이루어져 있습니다.

1 단계: "질문을 살짝 바꿔서 균열 찾기" (Paraphrastic Probing)

모델이 문제를 풀다가 실수하는 순간을 찾아내는 과정입니다.

상황: 모델이 문제를 풀고 있습니다.
작동: 연구자들은 이 모델에게 원래 문제와 뜻은 같지만, 표현을 살짝 바꾼 (Paraphrase) 문제를 보여줍니다.
- 예시: "오전 10 시에 50 개를 판다" → "아침에 50 개가 팔렸다"
발견: 원래 문제에서는 "10 시"라고 답을 하던데, 표현을 바꾼 문제에서는 갑자기 "11 시"라고 하거나, 문맥이 어색해집니다.
결론: "아! 이 지점에서 모델이 표현의 변화에 민감하게 반응했네. 여기서부터 논리가 꼬인 **'균열 (Critical Token)'**이 있구나!"라고 찾아냅니다.
- 마치 건물을 살짝 흔들었을 때, 어느 벽돌이 가장 먼저 흔들리는지 확인하는 것과 같습니다.

2 단계: "잘못된 벽돌 갈아끼우기" (Consistency Verification)

찾아낸 '균열 (잘못된 단어)'을 고쳐서 정답을 도출하는 과정입니다.

작동: 찾아낸 잘못된 단어를 지우고, 그 자리에 다른 후보 단어들을 넣어봅니다.
- 예시: "나누기"가 틀렸다면, "빼기"나 "곱하기"로 바꿔서 다시 계산해 봅니다.
검증: 이렇게 고쳐서 다시 문제를 풀어봅니다. 이때 원래 문제와 표현을 바꾼 문제 두 가지로 모두 풀어봅니다.
최종 결정: "어떤 답이 원래 문제와 바꾼 문제에서 모두 똑같이 나오는지"를 확인합니다.
- 만약 "10"이라는 답이 두 가지 문제 모두에서 나왔다면, 그 답은 매우 튼튼한 (Consistent) 답입니다.
- 반대로, 표현만 바꿨는데 답이 달라진다면, 그 답은 아직 불안정하다는 뜻입니다.

💡 왜 이 방법이 좋은가요? (기존 방법과의 차이)

스스로 고치는 게 아닙니다: 모델에게 "너 실수했어, 고쳐"라고 말해주면 모델은 종종 더 헷갈려 합니다. 대신, 질문의 표현을 살짝 바꿔서 모델의 반응 차이를 이용해 실수 지점을 찾아냅니다. (마치 거울을 비추듯)
무작위 추측이 아닙니다: 단순히 여러 번 문제를 풀어봐서 가장 많이 나온 답을 고르는 (Self-Consistency) 방식보다, 실수한 지점을 정확히 찾아서 고친 후 답을 구하므로 훨씬 정확합니다.
외부 도구가 필요 없습니다: 다른 AI 나 사람이 "여기가 틀렸어"라고 가르쳐 줄 필요 없이, 모델 자체의 반응만으로 실수를 찾아냅니다.

📊 결과: 얼마나 잘 하나요?

실험 결과, 이 방법을 쓰면 수학 문제나 논리 퀴즈를 푸는 정확도가 기존 방법들보다 상당히 높아졌습니다. 특히 어려운 문제일수록 실수 지점을 찾아 고치는 이 방식의 효과가 컸습니다.

🎯 한 줄 요약

"복잡한 문제를 풀다가 실수할 때, 질문을 살짝 바꿔서 실수한 '핵심 단어'를 찾아내고, 그 단어만 고쳐서 다시 풀어보면 훨씬 더 정확한 답을 얻을 수 있다."

이 논문은 AI 가 스스로의 실수를 찾아내고 수정하는 '지능'을 키우는 새로운 길을 제시한 셈입니다.

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 연산, 프로그래밍, 계획 등 다양한 추론 작업에서 뛰어난 성능을 보여주지만, 복잡한 작업에서는 중간 단계의 할루시네이션 (hallucinations) 과 오류의 누적 (error accumulation) 으로 인해 문제 해결 능력이 저하되는 경향이 있습니다.

기존의 추론 최적화 방법들은 다음과 같은 한계가 있습니다:

자기 교정 (Self-Correction): LLM 이 자신의 오류를 스스로 식별하고 수정하는 것은 신뢰성이 낮으며, 외부 가이드 없이는 실패하는 경우가 많습니다.
외부 검증기 (External Verifiers): 과정 보상 모델 (PRM) 등을 사용하는 방법은 고품질의 단계별 학습 데이터가 필요하여 실용성이 제한적입니다.
임의 샘플링: 단순한 샘플링 기반 방법 (예: Self-Consistency) 은 오류가 있는 경로를 무작위로 수정할 뿐, 오류의 근본 원인인 '중요한 토큰 (Critical Tokens)'을 정확히 찾아내지 못합니다.

따라서, 어떤 토큰이 추론 경로의 오류를 유발하는 '결함 (Crack)'인지 정확히 식별하고, 이를 수정하여 추론의 정확도를 높이는 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 Paraphrastic Probing and Consistency Verification (PPCV) 이라는 2 단계 프레임워크를 제안합니다. 이 방법은 모델이 외부 검증기 없이 자체적으로 중요한 토큰을 찾고 수정할 수 있도록 설계되었습니다.

1 단계: Paraphrastic Probing (중요 토큰 탐지)

이 단계는 문제의 표면적 형태 (Surface Form) 를 변경했을 때 모델의 추론 경로가 어떻게 변하는지를 분석하여 오류의 원인이 되는 '중요 토큰 (Critical Token)'을 식별합니다.

초기 추론 경로 생성: 원래 질문 ( $q_0$ ) 에 대해 LLM 이 초기 추론 경로 ( $r_{q_0}^0$ ) 를 생성합니다.
패러프레이징 (Paraphrasing): 원래 질문을 의미는 유지하되 표현을 다르게 바꾼 여러 개의 패러프레이즈 질문 ( $q_1, ..., q_N$ ) 을 생성합니다.
토큰 불일치 탐지: 패러프레이즈된 질문에 초기 추론 경로를 연결하여 LLM 에 입력합니다. 이때, 원래 경로에서 기대되는 토큰과 LLM 이 예측한 Top-1 토큰이 일치하지 않는 위치를 '잠재적 중요 토큰'으로 간주합니다.
- 논리: 패러프레이즈된 입력에 민감하게 반응하여 토큰 예측이 달라지는 위치는 추론 경로의 취약점 (Crack) 일 가능성이 높습니다.
검증 및 선정: 여러 패러프레이즈에 대한 예측 불일치 점수 ( $\Delta$ ) 를 계산하여 가장 큰 편차를 보이는 토큰을 최종 '중요 토큰 ( $a_c$ )'으로 선정합니다.

2 단계: Consistency Verification (일관성 검증 및 수정)

식별된 중요 토큰을 대체하여 새로운 추론 경로를 생성하고, 패러프레이즈 일관성을 통해 최종 답을 도출합니다.

대체 토큰 샘플링: 중요 토큰 위치에서 Top-K 샘플링을 통해 원래 토큰을 포함한 여러 대체 토큰 후보를 생성합니다.
새로운 경로 롤아웃 (Rollout): 원래 질문과 패러프레이즈된 질문 모두에 대해, 중요 토큰을 대체 토큰으로 바꾼 상태에서 새로운 추론 경로를 생성합니다.
패러프레이즈 일관성 메커니즘:
- 각 대체 토큰에 대해 생성된 여러 경로 (원본 vs 패러프레이즈) 의 최종 답을 비교합니다.
- 일관성 점수: 원본 질문과 패러프레이즈된 질문 모두에서 동일한 답을 도출하는 경우 높은 점수를 부여합니다.
- 유사도 가중치 (Similarity-weighted): 단순 다수결 (Majority Voting) 대신, 패러프레이즈된 질문이 원본과 얼마나 다른지 (유사도) 를 고려하여 가중치를 부여합니다. 원본과 다른 표현일수록 일관성이 유지된다면 그 답의 신뢰도가 더 높다고 간주합니다.
최종 답 선정: 일관성 점수가 가장 높은 경로의 답을 최종 정답으로 선택합니다.

3. 주요 기여 (Key Contributions)

새로운 2 단계 프레임워크 (PPCV) 제안: 패러프레이징을 활용하여 LLM 의 내부 불확실성을 진단하고, 오류의 핵심인 '중요 토큰'을 자동으로 추출하여 추론 경로를 수정하는 자기 완결형 (Self-contained) 프로세스를 개발했습니다.
중요 토큰의 효과 입증: 기존 샘플링 방법 (Self-Consistency 등) 보다 중요 토큰을 식별하고 대체하는 것이 오류 수정에 훨씬 효과적임을 실험적으로 증명했습니다.
패러프레이즈 일관성 메커니즘: 단순한 다수결 투표가 아닌, 문제의 의미적 변형에 대한 강건성 (Robustness) 을 기준으로 답을 선별하는 새로운 검증 방식을 도입했습니다.
광범위한 실험 검증: 수학 추론 (GSM8K, Math500, AIME 등) 과 상식 추론 (ARC) 등 다양한 벤치마크와 모델 (Llama-3, Mistral, Qwen 등) 에서 기존 SOTA 방법들보다 우수한 성능을 보였습니다.

4. 실험 결과 (Results)

성능 향상: Llama-3.1-8B-Instruct 모델을 기준으로 GSM8K 에서 88.24%, Math500 에서 50.00% 의 정확도를 기록하여, 기존 Self-Consistency(80.60%, 37.80%) 및 Predictive Decoding 등 다른 최신 방법들을 압도적으로 능가했습니다.
경쟁 수준 데이터: AIME2024, HMMT2025 등 매우 어려운 수학 경시대회 문제에서도 일관된 성능 향상을 보였습니다.
Ablation Study:
- 중요 토큰을 무작위 토큰으로 대체할 경우 성능이 크게 저하됨을 확인하여, 제안된 방법의 토큰 식별 정확도를 입증했습니다.
- 패러프레이즈 일관성 검증 없이 단순 다수결을 사용할 경우 성능이 낮아져, 패러프레이즈 기반 검증의 중요성을 확인했습니다.
비용 효율성: 추가적인 추론 비용이 발생하지만, 병렬 처리 (vLLM 등) 를 통해 지연 시간 (Latency) 을 최적화할 수 있으며, 기존 방법들과 비교해 합리적인 수준의 오버헤드를 가집니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 추론 오류를 수정하기 위해 외부 검증기나 인간 주석 데이터에 의존하지 않고, 모델이 질문의 표현 변화 (Surface Form Perturbation) 에 반응하는 민감도를 이용하여 오류의 근원 (중요 토큰) 을 스스로 찾아내고 수정하는 새로운 패러다임을 제시합니다.

이는 추론 과정에서 발생하는 '결함 (Cracks)'을 체계적으로 발견하고 메우는 기술로, 복잡한 논리적 추론이 필요한 분야에서 LLM 의 신뢰성과 정확성을 획기적으로 높일 수 있는 잠재력을 보여줍니다. 특히, 패러프레이징을 단순한 데이터 증강이 아닌 디버깅 도구로 활용했다는 점이 혁신적입니다.