🤖 AI

Reproducing and Stress-Testing Two Approaches to LLM Reasoning Reliability: Test-Time Probability Aggregation and Logic-Representation Editing

본 논문은 최근 LLM의 추론 신뢰성을 향상시키기 위한 두 가지 방법론인 테스트 시간 확률 집계(RPC)와 논리 표현 편집(LCF)을 여러 모델과 도메인에 걸쳐 독립적으로 재현하고 스트레스 테스트를 수행하였으며, 그 결과 RPC는 표준적인 자기 일관성(self-consistency) 대비 유의미한 이점을 제공하지 못하고 LCF의 논리 편집 효과는 미약하며 일관성이 없고 종종 해로울 수 있다는 점을 발견하였다.

원저자: Minhan Cho, Jimin Kweon

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minhan Cho, Jimin Kweon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 때때로 지나치게 자신만만한 로봇에게 퍼즐 푸는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 인간처럼 읽고 쓸 수 있는 인공지능의 한 종류인 거대 언어 모델(LLM)입니다. 과학자들이 현재 해결하려고 노력 중인 큰 문제는 바로 '신뢰성'입니다. 단순히 로봇이 정답을 맞히느냐의 문제가 아니라, 로봇이 자신이 맞았다는 것을 '아느냐'의 문제입니다. 때때로 로봇은 완벽한 문법으로 틀린 답을 아주 자신 있게 설명하기도 하고, 쉬운 문제에서 주저하기도 합니다. 우리는 정확하면서도 그 확신에 있어 신뢰할 수 있는 로스트를 원합니다. 이를 해결하기 위해 연구자들은 두 가지 매우 다른 기술을 시도해 왔습니다. 하나는 로봇에게 같은 문제를 여러 번 생각하게 한 뒤 가장 좋은 답에 투표하게 하는 것이고, 다른 하나는 로봇의 뇌 내부로 들어가 논리를 담당하는 '마음'의 일부를 물리적으로 미세하게 조정하는 것입니다.

이 논문은 독립적인 탐정 그룹이 AI 로봇을 더 신뢰할 수 있게 만들기 위해 설계된 두 가지 새로운 화려한 도구들을 테스트하기로 결정한 이야기와 같습니다. 첫 번째 도구인 RPC는 프로세스의 맨 마지막 단계에서 작동하는 '투표 기계'입니다. 두 번째 도구인 LCF는 로봇이 작업하는 동안 내부의 생각을 편집하려고 시도하는 '뇌 수술 의사'입니다. 이 도구들의 원래 제작자들은 그것들이 놀랍다고 주장했지만, 실제로 정말 효과가 있는지 확인하기 위해 처음부터 직접 만들어본 사람은 아무도 없었습니다. 이 논문의 저자들은 회의론자의 역할을 하기로 했습니다. 그들은 두 도구를 처음부터 다시 구축했고, 새로운 유형의 퍼즐(법률 사례나 수학 문제 등)로 테스트했으며, 다음과 같은 단순한 질문을 던졌습니다. "이것들이 실제로 작동하는 것인가, 아니면 그저 운이 좋았던 것인가?"

이야기는 첫 번째 도구인 RPC에서 시작됩니다. 학생에게 수학 문제를 풀라고 시킨다고 상상해 보세요. 만약 학생이 틀렸더라도 여전히 매우 설득력 있는 설명을 써 내려갈 수도 있습니다. RPC는 그 학생에게 문제를 32번 풀게 하고, 모든 시도를 모두 기록하게 하는 것과 같습니다. 그런 다음 단순히 가장 많이 나온 답을 고르는 것(단순 다수결 투표) 대신, RPC는 각 시도에서 학생이 얼마나 자신감이 있었는지를 살펴봅니다. 이 방식은 '가장 인기 있는 답'과 '가장 자신감 있는 답'을 결합하여 승자를 뽑습니다. 연구진은 이 도구를 원래 저자들이 설명한 것과 똑같이 재구축했을 때, 원래의 수학 테스트에서는 완벽하게 작동한다는 것을 발견했습니다. 하지만 이들을 새로운 영역, 즉 텍스트를 데이터베이스 쿼리로 변환하거나 법률 문서를 분석하는 데 데려갔을 때는 단순한 '다수결 투표' 방식보다 딱히 낫지 않았습니다. 이는 마치 테스트 트랙에서는 잘 달릴 수 있지만 고속도로에서는 일반 자동차보다 더 빠르지 못한 화려한 자동차와 같았습니다. 실제로 BIRD라고 불리는 특정 테스트에서, 이 도구는 로봇이 32번 생각하도록 허용했을 때만 아주 작은 우위를 보였으며, 연구진이 더 큰 규모의 문제 집단에 대해 테스트했을 때는 그 작은 우위가 완전히 사라졌습니다. 여기서의 주요 교훈은 RPC가 해롭지 않은 안전한 도구이며 결코 상황을 악화시키지는 않지만, 새로운 유형의 과업에서 제작자들이 약속했던 마법 같은 상승 효과를 제공하지도 못했다는 것입니다.

다음은 훨씬 더 야심 차고 위험한 두 번째 도구인 LCF입니다. RPC가 투표 기계라면, LCF는 뇌 수술 의사입니다. 아이디어는 로봇의 '뇌'(코드의 숨겨진 층) 안에 두 개의 분리된 정보 스트림, 즉 '내용'(사실과 단어)을 위한 스트림과 '논리'(추론 규칙)를 위한 스트림이 있다는 것입니다. 원래의 논문은 만약 당신이 '논리' 스트림을 찾아내어 그것을 '유효한' 방향으로 밀어붙일 수 있다면, 로봇이 무엇을 말하고 있든 상관없이 더 논리적으로 생각하도록 강제할 수 있다고 주장했습니다. 연구진은 원래 저자들이 코드를 공유하지 않았기 때문에 이를 처음부터 다시 구축하려고 시도했습니다. 그들은 '논리' 스트림이 존재하기는 하지만, 매우 약하다는 것을 발견했습니다. 마치 시끄러운 방 안에서 속삭임을 들으려는 것과 같습니다. 연구진이 로봇을 더 논리적으로 만들기 위해 이 스트림을 밀어붙였을 때, 그것은 대부분 역효과를 냈습니다. 테스트한 네 가지 로봇 모델 중 세 가지 모델에서, 이 도구는 실제로 로봇이 정답에 대해 갖는 확신을 떨어뜨리고 실수를 더 많이 하게 만들었습니다. 이 도구가 도움이 된 유일한 경우는 특정 로봇 모델 하나뿐이었지만, 그 경우에도 개선 정도가 너무 작아서 그저 무작위적인 운일 수도 있었습니다. 연구진은 또한 별도의 도구를 먼저 훈련시키지 않고도 어떤 로봇에게든 이 '뇌 수술'이 작동하게 만들려고 시도했지만, 이 역시 실패했습니다. 결국, 이 '뇌 수술' 도구는 신뢰할 수 없는 것으로 판명되었습니다. 그것은 고치려고 했던 로봇을 자주 망가뜨렸으며, 성공한 것처럼 보였던 단 한 번의 경우조차 그 증거가 실제 성공이라고 부르기에는 충분히 강력하지 않았습니다.

이 연구의 최종 판결은 두 가지 매우 다른 결과에 대한 이야기입니다. '투표 기계'(RPC)는 지루하지만 안전한 도구입니다. 아무것도 망가뜨리지 않지만, 단순한 방법보다 큰 이점을 제공하지도 않습니다. 반면 '뇌 수술 의사'(LCF)는 약속을 이행하는 데 실패한 고위험 실험입니다. 연구진은 로봇의 논리 스트림을 편집한다는 아이디어가 이론적으로는 멋지게 들리지만, 실제로는 너무 약하고 사용하는 로봇의 종류에 따라 너무 특수하여 신뢰할 수 있는 해결책이 되기 어렵다는 것을 발견했습니다. 현재 AI를 더 신뢰할 수 있게 만들고자 하는 사람들에게, 이 연구는 AI에게 여러 번 생각하게 하고 투표하는 더 안전하고 단순한 방법을 고수하는 것이 더 나은 선택이며, 화려한 내부 편집 기술은 신뢰받기까지 훨씬 더 많은 작업이 필요하다는 점을 시사합니다.

기술 요약: LLM 추론 신뢰도에 대한 두 가지 접근 방식의 재현 및 스트레스 테스트

문제 정의

최근의 대규모 언어 모델(LLM)은 추론 신뢰성 측면에서 결함을 보이고 있다. 구체적으로, 신뢰도(confidence)를 정확도(accuracy)와 일치시키지 못하며, 표면적인 그럴듯함(plausibility)을 논리적 타당성(validity)과 혼동하는 문제가 발생한다. 이러한 문제를 해결하기 위해 제안된 두 가지 최신 방법론은 다음과 같다. 하나는 추론 시 토큰 확률과 자기 일관성(self-consistency)을 결합하는 RPC(Zhou et al., 2025)이며, 다른 하나는 잔차 스트림(residual stream) 내에서 '내용(content)'과 '논리(logic)' 서브스페이스를 분리하도록 프로젝터를 학습시켜 논리 벡터를 유효한 영역으로 편집하는 LCF(Wu et al., 2025)이다.

본 연구가 다루는 핵심 문제는 이러한 주장들에 대한 독립적인 검증이 부족하다는 점이다. RPC의 평가는 저자들에 의해 고정된 모델 세트에서만 수행되었으며, LCF는 공개된 코드가 없어 그 핵심 전제인 '제어 가능한 논리 방향'을 검증할 수 없는 상태였다. 또한, 두 방법 모두 보고된 신뢰도 향상이 견고한 결과인지 아니면 특정 실험 설정에 의한 산물인지를 확인하기 위해 다양한 도메인과 모델 아키텍처에 걸친 스트레스 테스트를 거치지 않았다.

방법론

본 연구는 각 방법론이 보고한 신뢰도 향상을 가설로 간주하고, 이를 여러 모델과 도메인에 걸쳐 독립적인 구현을 통해 재테스트하는 엄격한 재현성 프레임워크를 채택한다.

1. RPC (테스트 시간 확률 집계)

재현: 저자들은 기존 저자들이 공개한 수학 벤치마크(MATH, Math-Odyssey, Olympiad-Bench, AIME)의 추론 경로에 대해 발표된 RPC의 집계 로직을 재실행하였다.
확장: 이 방법론을 네 가지 새로운 도메인(text-to-SQL(BIRD), 법률 인용 추출(KO-VER), 판례 등급(KCC), 오류 식별(LFUD))으로 확장하였다.
스트레스 테스트: BIRD 데이터셋에 대해 샘플 예산 연구를 수행하여, RPC가 표준 자기 일관성(SC)보다 우수한 성능을 보이는 시점을 격리하기 위해 샘플링된 체인의 수( $K$ )를 8에서 32까지 변화시켰다.
베이스라인: RPC를 자기 일관성(다수결 투표) 및 퍼플렉시티(PPL) 선택 방식과 비교하였다.

2. LCF (논리 표현 편집)

재구현: LCF 코드를 사용할 수 없었기에, 저자들은 은닉 상태를 내용 및 논리 벡터로 분리하는 프로젝터 학습, 재구성을 위한 교차 주의(cross-attention) 디코더, 그리고 InfoNCE 대조 학습 목적 함수를 포함한 전체 파이프라인을 처음부터 다시 구현하였다.
개입: 추론 시, 스케일 파라미터 $\eta$ 를 사용하여 논리 벡터를 '유효한' 영역으로 이동시킨 후 다시 디코딩하여 잔차 스트림에 삽입한다.
대체: 원본 논문에 공개되지 않은 유효성 판별기(validity discriminator)를 대신하여, 저자들은 감사 가능한 GPT-4 심사역과 DistilBERT 분류기를 사용하였으며, 이러한 대체가 지표에 미치는 영향을 기록하였다.
모델 불가지론적 시도: 학습이 필요 없는 대조적 활성화 추가(CAA) 방식인 K-CAST(조건부 게이트 포함)로 학습된 LCF 프로젝터를 대체하여, 오류 식별 작업과 통제된 삼단논법 작업에서 테스트하였다.
프로빙(Probing): 선형 프로브를 사용하여 은닉 상태 내에서 유효한 결론과 유효하지 않은 결론의 분리 가능성을 측정하였으며, 이때 논리 신호를 의미론적 제어 대상(자살 위험 탐지)과 비교하였다.

주요 결과

RPC: 정확한 재현, 제한된 일반화

원본 그리드: 저자들이 공개한 수학 경로 데이터에 대해 RPC는 원래의 결과(정확도: 26.15% vs 보고된 26.11%; ECE: 12.32% vs 12.37%)를 정확히 재현하여, 해당 방법론의 구현이 건전함을 확인하였다.
새로운 도메인: 네 가지 새로운 도메인(BIRD, KO-VER, KCC, LFUD)에서 적은 샘플 예산( $K=8$ )을 사용했을 때, RPC는 자기 일관성(SC) 대비 통계적으로 유의미한 우위를 보이지 못했다(paired $p \ge 0.28$ ). 대부분의 경우 SC와 동일한 성능을 보였다.
예산 스케일링: BIRD 데이터셋에서 RPC가 SC보다 우세해지는 지점은 샘플 예산이 늘어남에 따라 증가하여 $K=32$ 일 때 정확도가 +2.5%에 도달했다. 그러나 이 차이는 통계적으로 유의미하지 않았으며( $p=0.16$ ), 80개 항목 중 2개에 불과한 사례에 의존했다. 샘플 크기를 $n=200$ 으로 확장했을 때, 이 우위는 $-0.25\%$ 로 역전되었으며( $p=0.85$ ), 이는 원래의 이득이 작은 샘플 크기로 인한 변동이었음을 시사한다.
결론: RPC는 성능을 크게 저하시키지 않는 안전한 개입 방식이지만, 테스트된 도메인에서 표준 자기 일관성보다 유의미한 신뢰도 향상을 제공하지는 못한다.

LCF: 약한 신호, 낮은 제어력, 그리고 모델 의존성

논리 유효성 방향: 선형 프로브 결과, 논리 유효성 방향이 존재하지만 매우 약하다는 것이 확인되었다. 단일 최적 서브 레이어에서는 0.82의 분리도를 달랐으나(의미론적 속성 제어의 0.95와 비교), LCF가 편집하는 레이어들을 통합했을 때는 0.50(우연 수준)으로 무너졌다.
개입 실패: 가산적 개입(논리 벡터 이동)은 일관된 이득을 생성하는 데 실패했다.
- Qwen3-8B: 유효한 옵션에 대한 확률 마진( $\Delta$ Prob)이 6.11에서 7.83으로 증가했으나 통계적으로 유의미하지 않았다( $p=0.56$ ).
- Llama-2 & Mistral: 성능이 유의미하게 저하되어 $\Delta$ Prob가 각각 8.1, 11.0 포인트 감소했다( $p < 0.001$ 및 $p=0.002$ ).
- Vicuna: 경계선상의 비유의미한 하락을 보였다.
일반화: Qwen3에서의 긍정적 효과는 공개 논리 벤치마크인 FOLIO로 전이되지 않았으며, 오히려 성능을 저하시켰다.
모델 불가지론적 시도: 학습이 필요 없는 대조적 스티어링(K-CAST)은 오류 식별 작업에서 두 모델 모두의 성능을 저하시키며 실패했다. 이는 오직 통제된 삼단논법 작업에서만(분포가 일치하고, 유효성을 더하는 것이 아니라 내용을 제거하는 방식이며, 이미 해당 과업을 수행할 수 있는 모델인 경우에 한함) 제한적인 조건 하에 성공했다.
지표 신뢰성: 원본 논문의 96.56% 유효성 제어 주장은 미공개 판별기에 의존하고 있었다. 저자들이 도입한 감사 가능한 대체 모델은 이득을 보여주지 못했으며, 원본 지표는 재현이 불가능했다.

의의 및 주장

본 논문은 두 접근 방식 사이에 근본적인 비대칭성이 존재한다고 결론짓는다.

RPC (테스트 시간 집계): 이 방법은 정확히 재현되며 견고하다. 테스트된 모든 도메인에서 정확도를 유의미하게 저하시키지 않았다. 새로운 도메인에서 자기 일관성보다 우세하다는 점이 통계적 유의성에 도달하지는 못했으나, 이론적 전제 조건(충분한 예산, 답변의 다양성)과 부합하는 안전하고 비용이 들지 않는 개입 방식이다.
LCF (표현 편집): 이 방법은 신뢰할 수 있거나 모델 불가지론적인 개입으로서 재현되지 않는다. 논리 유효성 신호는 실재하지만 매우 약하며 국소적으로 인코딩되어 있어, 가산적 개입을 통해 제어하기 어렵다. 보고된 이득은 모델 의존적이며(Qwen3에서만 관찰되었으나 이조차 통계적으로 유의미하지 않음), 다른 모델에는 해로울 수 있다. 핵심적인 신뢰성 주장은 감사가 불가능한 구성 요소에 의존하고 있다.

최종 결론: 7~8B 규모의 모델과 소규모 평가 세트에서 얻은 증거를 바탕 할 때, 테스트 시간 집계(RPC)가 추론 신뢰도를 높이는 데 더 신뢰할 수 있는 메커니즘인 반면, 논리 표현 편집(LCF)은 일반화에 실패하며 심각한 성능 저하의 위험을 초래한다. 본 연구는 방법론의 저자만이 보고하는 신뢰도 향상은 독립적인 모델 및 도메인 검증을 거치기 전까지는 가설로 취급되어야 함을 강조한다.