🤖 machine learning

NoisyCoconut: Counterfactual Consensus via Latent Space Reasoning

NoisyCoconut는 잠재 궤적에 제어된 노이즈를 주입하여 다양한 추론 경로를 생성하고, 그 합의를 통해 선택적 기권을 가능하게 하여 추론 작업의 오류율을 크게 낮춤으로써 대규모 언어 모델의 신뢰성을 향상시키는 재학습이 없는 추론 시 방법입니다.

원저자: Michael Jerge, David Evans

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Jerge, David Evans

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하지만 때로는 지나치게 자신감 있는 로봇 비서가 있다고요. 어려운 수학 문제를 물으면 보통 즉시 답을 내놓습니다. 하지만 때로는 단순히 추측을 하고 있다는 사실조차 깨닫지 못하죠. 이를 '할루시네이션'이라고 부르며, 답이 100% 정확해야 할 때는 위험합니다.

이 논문은 NoisyCoconut이라는 새로운 기법을 소개합니다. 이는 로봇을 재학습시키거나 새로운 것을 가르치지 않고도 더 신뢰할 수 있게 만드는 방법입니다. 마치 로봇의 입에서 나오는 말 속에 있는 것이 아니라, 로봇의 두뇌 내부에서 일어나는 '제 2 의 의견' 시스템과 같습니다.

간단한 비유를 통해 작동 원리를 설명해 보겠습니다:

1. 문제: 로봇의 '자신감'은 거짓말입니다

보통 로봇이 질문에 답할 때, 다음에 말할 가장 확률 높은 단어를 선택합니다. 하지만 로봇이 선택하는 단어에 대해 확신한다고 해서 그 논리가 옳다는 뜻은 아닙니다. 마치 매우 매끄럽고 자신감 있게 말하지만 실제로는 지어낸 이야기를 하고 있는 사람과 같습니다. 논문은 로봇이 실제로 불확실할 때를 알 수 있는 방법이 필요하다고 말합니다.

2. 해결책: '만약에?' 게임

로봇에게 한 번만 답하게 하는 대신, NoisyCoconut은 로봇에게 같은 질문을 다섯 번 답하게 합니다. 다만 약간의 변칙이 있습니다.

변칙 (소음 주입): 로봇이 다섯 번의 시도 각각을 시작하기 전에, 연구자들은 로봇의 내부 '두뇌'(잠재 상태) 에 아주 작고 통제된 흔들림을 줍니다. 퍼즐을 풀려고 한다고 상상해 보세요. 테이블을 살짝 흔들면 손이 조금 다르게 움직일 수 있고, 퍼즐을 풀 때 약간 다른 접근 방식을 시도할 수 있습니다.
결과: 이러한 작은 흔들림 때문에 로봇은 다섯 가지 약간 다른 '사고 경로'를 생성합니다. 마치 같은 사람의 다섯 가지 다른 버전을 퍼즐을 풀게 하는 것과 같으며, 각 버전은 약간 다른 관점을 가지고 있습니다.

3. 마법: 일치 여부 확인

이제 연구자들은 로봇이 내놓은 다섯 가지 답을 살펴봅니다:

시나리오 A (만장일치): 로봇의 다섯 가지 버전이 모두 정확히 같은 답을 내놓습니다.
- 비유: 다섯 명의 다른 전문가에게 수학 문제를 풀게 했을 때, 모두 각자의 종이 위에 '42'라고 적었다고 상상해 보세요. '42'가 정확할 것이라고 매우 확신할 수 있습니다.
시나리오 B (불일치): 세 명은 '42'라고 하고, 한 명은 '43'이라고 하며, 한 명은 '100'이라고 합니다.
- 비유: 전문가들이 논쟁을 벌이고 있습니다. 이는 로봇이 혼란스러우거나 현재 이 문제가 로봇에게 너무 어렵다는 것을 알려줍니다.

4. 안전망: '유보'

가장 중요한 부분입니다. NoisyCoconut 에는 규칙이 있습니다: 다섯 가지 버전이 일치하지 않으면 로봇은 침묵합니다.

잘못된 답을 주는 대신, "모르겠다"고 말합니다.
논문은 로봇이 다섯 가지 버전이 모두 동의했기 때문에 입을 열었을 때, 수학 문제에서 **95%**의 정확도를 보인다고 보여줍니다.
이 기법 없이는 로봇이 60~70% 정도만 정확할 수 있지만, 잘못된 추측을 포함한 모든 것에 답을 내놓게 됩니다.

5. 이것이 특별한 이유

재학습 불필요: 로봇에게 새로운 것을 가르칠 필요가 없습니다. 작업하는 동안 잠시 생각하는 방식만 바꾸면 됩니다.
내부 대 외부: 대부분의 다른 방법들은 로봇에게 스스로와 대화하게 하거나 어떤 문장이 가장 좋은지 보기 위해 많은 다른 문장을 생성하게 합니다. NoisyCoconut 은 로봇이 말을 시작하기 전에 내부 두뇌 상태를 흔듭니다. 마치 벽을 칠하기 전에 건물의 기초를 점검하는 것과 같습니다.
트레이드오프: 로봇은 불확실할 때 침묵하기 때문에 더 적은 수의 질문에 답합니다 (낮은 커버리지). 하지만 로봇이 실제로 답하는 질문들은 훨씬 더 정확합니다.

요약

NoisyCoconut 은 로봇의 두뇌를 위한 품질 관리 검사원과 같습니다. 이는 로봇에게 같은 문제를 다섯 가지 약간 다른 '렌즈'를 통해 실행하게 합니다. 다섯 렌즈가 모두 같은 그림을 보여준다면, 로봇은 확신을 가지고 답을 내놓습니다. 그림이 흐릿하거나 다르다면, 로봇은 자신이 불확실하다고 인정하고 추측을 거부합니다. 이는 전체적으로 답하는 질문 수는 줄이지만, 로봇을 중요한 상황에서 훨씬 더 안전하게 사용하게 만들어 줍니다.

기술 요약: NoisyCoconut: 잠재 공간 추론을 통한 반사실적 합의

문제 제기

대규모 언어 모델 (LLM) 이 고위험 환경에서 점점 더 널리 배포되고 있지만, 불확실성을 신호로 보내는 내재적 메커니즘이 부족하여 종종 확신에 찬 그러나 오류가 있는 출력 (할루시네이션) 을 생성합니다. 선택적 예측(불확실할 때 답변을 보류하는 것) 은 분류 작업의 신뢰성을 높이기 위한 확립된 전략이지만, 생성형 LLM 에 적용하기는 어렵습니다. 토큰 수준의 확률은 사실적 정확성보다는 언어적 불확실성을 반영하는 경향이 있으며, 기존 추론 시 방법들 (예: 토큰 샘플링을 통한 자기 일관성) 은 표면적 토큰 분포에 존재하는 다양성으로 제한됩니다. 또한, 연속적인 은닉 상태에 직접 작동하는 잠재 공간 추론 방법들은 일반적으로 전문적인 훈련을 필요로 하며 내장된 신뢰도 추정 메커니즘이 부재합니다.

방법론

본 논문은 NoisyCoconut을 소개합니다. 이는 연속적인 잠재 공간에서 내부 표현을 조작하여 LLM 의 신뢰성을 향상시키는 훈련이 필요 없는 추론 시 방법입니다. 은닉 상태의 마지막 것을 다음 입력 임베딩으로 피드백하여 추론을 가능하게 하는 연속 체인 오브 생각 (Continuous Chain-of-Thought, Coconut) 프레임워크 (Hao et al., 2025) 를 기반으로 하지만, NoisyCoconut 은 잠재 공간에서 추론하도록 모델을 훈련시키는 대신 신뢰도 평가에 초점을 맞춘다는 점에서 차이가 있습니다.

핵심 메커니즘은 사전 훈련된 모델의 잠재 궤적에 제어된 노이즈 주입을 포함합니다:

노이즈 주입: 주어진 입력 쿼리에 대해, 이 방법은 순전파 과정에서 은닉 상태에 독립적인 가우시안 노이즈 ( $\eta_t$ ) 를 주입하여 $K$ 개의 추론 경로를 생성합니다. 노이즈 스케일 $\sigma_t$ 는 시간 단계에 따라 지수적으로 감소하며, 의미 있는 분산을 유지하면서 일관성을 확보하기 위해 은닉 상태 노름에 기반하여 적응적으로 스케일링됩니다.
경로 탐색: 이 교란은 연속 표현 공간 내에서 대체 추론 궤적으로 분기하도록 유도하여, 중간 토큰을 생성하지 않고도 해결 공간의 서로 다른 영역을 효과적으로 탐색합니다.
집계 및 보류: $K$ 개 경로의 출력들이 집계됩니다. 시스템은 다수결 투표 전략을 사용하여 합의 출력을 결정합니다. 중요하게도, 경로 간 합의가 특정 임계값 (예: 만장일치 5/5 합의 요구) 미만일 경우 시스템은 보류 ( $\perp$ 로 표시) 할 수 있습니다.
신호 신호: 노이즈 교란된 경로 간의 합의 정도는 예측 신뢰도의 대리 지표 역할을 합니다. 높은 합의는 모델이 해결책이 교란에 강건한 안정적인 "끌개 분지 (attractor basin)"에 있음을 나타내는 반면, 낮은 합의는 표현적 불안정성과 높은 불확실성을 시사합니다.

주요 기여

저자들은 네 가지 주요 기여를 합니다:

NoisyCoconut 프레임워크: 연속 잠재 공간에서 제어된 노이즈 주입을 통해 다양한 추론 경로를 생성하고, 은닉 상태에 직접 합의 기반 신뢰도 추정을 가능하게 하는 새로운 훈련 불필요 추론 시 방법.
경로 합의의 검증: 경로 합의가 예측 신뢰도의 신뢰할 수 있는 대리 지표가 되어 효과적인 커버리지–정확도 트레이드오프를 가능하게 한다는 실증적 증명.
노이즈–정확도 관계의 특성화: 노이즈 스케일이 증가함에 따라 모델 정확도에서 일관된 시그모이드 저하 패턴이 나타난다는 분석으로, 노이즈 주입이 서로 다른 아키텍처 전반에 걸쳐 예측 가능하고 활용 가능한 효과를 생성함을 확인.
벤치마크 성능: NoisyCoconut 이 세 가지 추론 벤치마크 (GSM8K, GSM-Symbolic, MMLU) 와 다섯 가지 서로 다른 언어 모델 (Qwen, Llama, Mixtral, DeepSeek 변형 포함) 에서 훈련 데이터 접근이나 파라미터 수정 없이 유의미한 커버리지–정확도 트레이드오프를 달성한다는 증거.

결과

다섯 가지 언어 모델과 세 가지 벤치마크에서 수행된 실험은 다음과 같은 결과를 도출했습니다:

오류 감소: 노이즈 교란된 경로 간의 만장일치 합의 (5/5) 는 40–70% 의 기준 오류율을 15% 미만으로 감소시킵니다.
보류를 통한 높은 정확도: 낮은 신뢰도 예측 (경로 합의가 낮은 경우) 을 선택적으로 보류함으로써, 모델은 수학 추론 작업 (예: GSM8K) 에서 95% 이상의 정확도를 달성합니다. 예를 들어, DeepSeek-R1-Distill-Qwen-7B 모델은 만장일치 합의 임계값에서 기준 62.0% 에서 95.2% 로 향상되었으나, 커버리지는 감소했습니다 (31.4%).
균등화 효과: 더 약한 기준 모델은 높은 합의 필터링 하에서 절대적 정확도 향상이 가장 크게 나타나며, 이는 NoisyCoconut 이 높은 신뢰도를 보이는 질문의 부분집합에서 더 약한 모델이 더 강력한 대응 모델의 신뢰도에 접근하는 데 도움이 될 수 있음을 시사합니다.
노이즈 민감도: 체계적인 평가는 노이즈 스케일이 증가함에 따라 정확도가 일관된 시그모이드 감소를 보임을 밝혔으며, 모든 모델에서 $R^2 \ge 0.94$ 의 적합도를 보여, 모델 행동이 강건한 추론에서 거의 무작위 성능으로의 위상 전이를 나타냅니다.

중요성 및 주장

본 논문은 NoisyCoconut 이 재훈련이나 미세 조정의 계산 비용 없이 LLM 신뢰성을 향상시키는 실용적인 경로를 제공한다고 주장합니다. 합의 기반 신뢰도 추정을 잠재 공간으로 확장함으로써, 이 방법은 토큰 수준 분포에서는 보이지 않는 불확실성을 드러내기 위해 연속 표현 공간을 활용합니다.

저자들은 경로 합의와 정확성 간의 상관관계가 LLM 의 불확실성이 잠재 공간에 가시적임을 시사한다고 주장합니다. 노이즈 교란이 분기된 경로로 이어질 때, 모델은 표현적 불안정성이 있는 영역에서 작동할 가능성이 높으며; 반대로 동일한 답변으로 수렴하는 것은 교란에 강건한 안정적인 해결책을 나타냅니다. 이 접근법은 정확성과 감사 가능성이 중요한 규제 산업에서 LLM 을 배포할 수 있게 하며, 커버리지를 높은 신뢰도 정확도와 교환할 수 있는 메커니즘을 제공합니다.

본 논문은 내부 모델 상태에 대한 접근 필요성 (오픈 가중치 모델로 적용 범위 제한), 현재 이산적이거나 잘 정의된 답변이 있는 작업에 초점을 맞춘 점, 그리고 여러 경로 생성에 따른 계산 오버헤드를 포함한 한계를 인정합니다. 그러나 이를 적응형 노이즈 스케일링, 개방형 생성을 위한 의미적 집계, 비용 감소를 위한 추측적 디코딩과의 통합 등 향후 연구 기회로 제시합니다.