기술 요약: 추론 디노이저 (REDE)

문제 정의

OpenAI의 o-series나 DeepSeek-R1과 같은 대규모 추론 모델(LRM)은 최종 답변을 생성하기 전에 방대한 추론 궤적(reasoning traces)을 생성합니다. 이러한 궤적은 추론 능력을 향상시키기 위한 의도로 설계되었으나, 이는 **환각(hallucination)**이라는 결정적인 신뢰성 문제를 야기합니다. 기존 연구들은 이러한 궤적을 환각 탐지에 활용하려 시도해 왔으나, **노이즈가 섞인 추론 단계(noisy reasoning steps)**의 존재로 인해 한계에 부딪혔습니다.

본 논문은 LRM 궤적 내에 존재하는 두 가지 주요 노이즈 형태를 식별합니다:

1. 무관한 단계 (Irrelevant steps): 문제 특유의 유의미한 정보를 기여하지 못하는 단계.
2. 반복적인 단계 (Repetitive steps): 궤적의 후속 단계에서 이미 다루어졌기 때문에 정보가 의미론적으로 중복되는 단계.

저자들은 전체 추론 궤적을 환각 탐지기에 그대로 포함시키는 것이 성능을 저하시킨다는 점을 입증했습니다. 신뢰도 기반 스코어링이나 단순 임베딩 기반 필터링(예: 원시 임베딩에 대한 $k$-NN)과 같은 기존 필터링 방식은 유의미한 단계와 노이즈가 섞인 단계를 안정적으로 구분하지 못합니다. 신뢰도 점수는 단계 유형 간에 과도하게 겹치며, 반복적인 단계는 원시 표현 공간에서 유의미한 단계와 의미론적으로 매우 유사하게 나타납니다.

방법론: REDE 프레임워크

저자들은 단계별 표현 공간(step-level representation space)을 형성함으로써 추론 궤적의 노이즈를 제거하도록 설계된 학습 프레임워크인 **REDE (Reasoning Denoiser)**를 제안합니다. 이 프레임워크는 세 단계로 작동합니다.

1. 감독 신호: 최종 답변 어텐션 (Final-Answer Attention)

REDE는 LRM의 내부 어텐션 메커니즘을 자동화된, 별도의 주석이 필요 없는(annotation-free) 감독 신호로 활용합니다. 핵심 관찰 결과는 최종 답변 토큰으로부터 각 추론 단계로 향하는 어텐션 점수가 해당 단계의 유용성과 상관관계가 있다는 것입니다:

• 유의미한 단계는 최종 답변을 직접적으로 뒷받침하므로 높은 어텐션을 받습니다.
• 무관한 단계는 답변과의 연결성이 약하기 때문에 낮은 어텐션을 받습니다.
• 반복적인 단계는 이후의 더 결정적인 단계들에 의해 내용이 흡수되므로 낮은 어텐션을 받습니다.

단계 점수 $s_i$는 최종 답변 토큰이 단계 $c_i$ 내의 토큰들에 할당한 총 어텐션 질량(attention mass)으로 계산됩니다.

2. 디노이징된 표현 공간 학습

REDE는 어텐션 점수를 직접 필터로 사용하는 대신(이는 추론 오버헤드를 발생시키고 견고성이 부족함), 단계 임베딩을 재구성하기 위한 경량 투영 네트워크 $f_\phi$를 학습합니다.

• 임베딩 추출: 내용이 풍부한 토큰을 강조하기 위해 퍼플렉서티 가중치 합산(perplexity-weighted aggregation)을 사용하여 단계 임베딩을 구성합니다.
• 프록시 선택: 학습 과정에서 단계들은 어텐션 점수에 따라 순위가 매겨집니다. 상위 $\rho\%$는 유의미한 단계($\mathcal{T}$)의 프록시 집합을 형성하고, 하위 $\rho\%$는 노이즈가 섞인 단계($\mathcal{B}$)의 프록시 집합을 형성합니다.
• 목적 함수: 투영 네트워크는 복합 손실 함수 $\mathcal{L}$을 사용하여 임베딩 공간에 특정 기하학적 구조를 유도하도록 학습됩니다:
  • $\mathcal{L}_{compact}$: 유의미한 단계들을 하나의 조밀한 클러스터로 모읍니다.
  • $\mathcal{L}_{disperse}$: 노이즈가 섞인 단계들이 함께 클러스터링되는 것을 방지하여, 이들을 식별 가능한 이상치(outliers)로 유지합니다.
  • $\mathcal{L}_{separate}$: 유의미한 클러스터와 노이즈 클러스터를 서로 밀어내어 전역적 분리성을 극대화합니다.

3. 추론 시 필터링

추론 단계에서는 투영 네트워크가 단계 임베딩을 학습된 공간으로 매핑합니다. 거리 기반 필터($k$-NN 코사인 거리 사용)를 통해 조밀한 유의미한 클러스터로부터 거리가 먼 단계를 노이즈 단계로 식별합니다. 거리 점수가 높은 상위 $\zeta\%$의 단계를 제거한 후, 필터링된 궤적을 다운스트림 환각 탐지기에 전달합니다.

주요 기여

1. 노이즈 식별: 본 논문은 무관한 단계와 반복적인 단계가 LRM의 환각 탐지를 방해하는 중요한, 간과되었던 장애물임을 규명하며, 이를 제거했을 때 상당한 성능 향상이 있음을 보여줍니다.
2. REDE 프레임워크: 최종 답변 어텐션을 활용하여 표현 공간을 형성함으로써, 인간의 주석 없이도 신뢰할 수 있는 단계 필터링을 가능하게 하는 새로운 경량 학습 프레임워크를 제안합니다.
3. 일반화 및 성능: REDE는 탐지기 불가지론적(detector-agnostic)이며(프로빙, 불확실성 기반, 언어화된 방법론과 호환됨), 다양한 데이터셋과 모델군에 걸쳐 일관되게 탐지 성능을 향상시킴을 광범위한 실험을 통해 입증했습니다.

실험 결과

저자들은 TruthfulQA, MATH (MATH500, AIME 2024/2025 포함), CodeElo, MULTIHOPQA의 네 가지 추론 벤치마크에서 Qwen3-8B/32B 및 DeepSeek-R1-Distill-Llama-8B와 같은 모델을 사용하여 REDE를 평가했습니다.

• 성능 향상: REDE는 경쟁력 있는 베이스라인들을 일관되게 능가합니다. Qwen3-8B를 사용한 TruthfulQA 벤치마크에서 REDE(CCS 탐지기 사용 시)는 **87.32%**의 AUROC를 달성하였으며, 이는 필터링되지 않은 궤적(68.63%) 및 최신 기술 수준인 ARS(81.92%)보다 크게 향상된 수치입니다.
• 견고성: 이 방법은 다양한 LRM 제품군과 데이터셋에 대해 잘 일반화됩니다. 교차 데이터셋 전이성 테스트 결과, 한 데이터셋(예: MULTIHOPQA)에서 학습된 투영 모델이 다른 데이터셋(예: CodeElo)의 궤적을 효과적으로 디노이징할 수 있음을 보여주었습니다.
• 확장성: REDE는 더 큰 모델(Qwen3-32B 및 DeepSeek-R1-Distill-Qwen-32B)에서도 효과적이며, TruthfulQA에서 베이스라인 대비 최대 13.11%의 격차로 성능을 앞섭니다.
• 절제 연구 (Ablation Studies):
  • 직접적인 어텐션 기반 필터링은 REDE보다 성능이 낮아, 학습된 표현 공간을 형성하는 것의 필요성을 확인시켜 줍니다.
  • 손실 함수($\mathcal{L}_{compact}, \mathcal{L}_{disperse}, \mathcal{L}_{separate}$) 중 하나라도 제거하면 성능이 저하되어, 기하학적 형상화 전략의 타당성을 입증합니다.
  • 본 방법은 거리 측정 방식 및 임베딩 추출 레이어의 선택에 대해 견고합니다.

의의 및 주장

본 논문은 **추론 단계 디노이징(reasoning-step denoising)**이 LRM의 환각 탐지를 개선하기 위한 효과적이고 일반적인 전략임을 주장합니다. 진실성을 가리는 단계들을 필터링함으로써, REDE는 다운스트림 탐지기가 더 깨끗하고 유의미한 신호를 바탕으로 작동할 수 있게 합니다.

저자들은 REDE를 인간의 주석이 필요 없고 다양한 탐지 파이프라인에 통합될 수 있는 경량의 플러그 앤 플레이(plug-and-play) 모듈로 포지셔닝합니다. 또한 REDE가 신뢰성을 높여주기는 하지만, 이는 탐지를 돕는 도구이지 진실성을 보장하는 것이 아니며, 생성 과정 자체에 개입하지 않는다는 점을 강조합니다. 이 연구는 향ما 이러한 디노이징 신호를 모델 학습 과정에 직접 통합하여 근본적으로 노이즈를 억제하는 방향의 연구가 필요함을 시사합니다.