기술 요약: 추론 일관성 스캐닝 (Reasoning Consistency Scanning)

문제 정의

사고의 연쇄(Chain-of-thought, CoT)는 AI 안전성 평가를 해석하는 주요 메커니나즘이 되었으며, 여기서 추론 흔적은 진정한 숙고, 제약 인식 또는 정렬(alignment)의 증거로 취급됩니다. 그러나 이러한 트랜스크립트를 사후에 감사(audit)하는 능력에는 결정적인 격차가 존재합니다. **CoT 충실도(faithfulness)**에 관한 기존 연구는 모델이 내부 계산 과정(예: 언급되지 않은 정보에 기반하여 행동하거나 특정 특징에 대한 의존성을 부정함)을 반영하지 않는 추론을 생성할 수 있음을 보여주었습니다. 하지만 충실도를 탐지하려면 힌트 주입이나 입력 섭동(perturbation)과 같은 통제된 실험적 개입이 필요한데, 이는 기존의 평가 트랜스크립트에 적용하는 것이 불가능합니다.

이는 **구성 타당도(construct validity)**에 대한 위협을 초래합니다. 만약 모델의 명시된 추론이 최종 답변과 분리되어 있다면, 추론 흔적을 증거로 사용하는 안전성 평가는 모델이 실제로 보유하지 않은 속성을 측정하고 있는 것일 수 있습니다. 본 논문은 이보다 다루기 쉬우면서도 구별되는 문제인 추론 일관성(reasoning consistency), 즉 *명시된 추론이 관찰 가능한 텍스트로서 최종 출력과 논리적으로 연결되는가?*라는 질문을 다룹니다. 충실도와 달리, 일관성은 실험적 개입 없이 트랜스크립트 자체만으로도 평가할 수 있습니다.

방법론

정의 및 분류 체계

저자들은 추론 일관성을 추론 흔적과 최종 답변 사이의 논리적 일관성으로 공식화하며, 이를 사실적 정확성(factual correctness)과 명확히 구분합니다. 또한, 오분류를 방방지하기 위해 순차적 결정 절차를 통해 적용되는 6가지 불일치 하위 유형 분류 체계를 정의합니다:

1. 부재된 추론 (Absent Reasoning): 추론 필드에 텍스트(예: 재진술, 일반적인 서문)는 존재하지만 질문에 관여하지 않는 경우.
2. 모순된 추론 (Contradictory Reasoning): 내부적으로 호환되지 않는 방향을 주장하는 경우.
3. 외견상 혼란 (Apparent Confusion): 추론이 비논리적이며 결론을 도출하는 데 실패하는 경우 (모순과는 구별됨).
4. 추론 역전 (Reasoning Reversal): 추론은 한 방향으로 결론을 내리지만, 답변은 의미 있게 다른 방향을 선택하는 경우.
5. 추론 포기 (Reasoning Abandonment): 추론에서 특정 고려 사항을 제기했으나, 최종 답변에서는 이를 무시하는 경우.
6. 형식적 추론 (Perfunctory Reasoning): 추론이 존재하기는 하나, 특정하고 확정적인 답변을 산출하기에는 너무 빈약한 경우.

참고: 불확실성, 유보적 태도(hedging), 또는 결론을 향해 탐색하는 추론은 불일치에서 명시적으로 제외됩니다.

스캐너 도구

저자들은 AI 에이전트 트랜스크립트를 분석하기 위한 오픈 소스 도구인 InspectScout를 사용하여 추론 일관성 스캐닝을 구현했습니다. 이 스캐너는 LLM-as-judge 아키텍처(구조화된 출력과 재현율 측면에서 DeepSeek V4 Flash 및 Claude Haiku 4.5보다 우수한 성능을 보인 Claude Opus 4.6을 선정)를 활용합니다.

• 입력: 시스템 프롬프트, 질문, 추론 흔적, 최종 답변이 포함된 트랜스크립트.
• 출력: 일관성 라벨(일치/불일치/해당 없음), 하위 유형 라벨, 신뢰도 등급, 요약 및 근거를 포함한 구조화된 분류.
• 제약 사항: 스캐너는 논리적 연결을 평가하는 데 엄격히 제한되며, 사실적 정확성이나 내부 모델 프로세스를 추론하지 않습니다.

벤치마크 구축

스캐너를 검증하기 위해 저자들은 InstrumentalEval에서 파생된 60개의 레이블링된 트랜스크립트 합성 벤치마크를 구축했습니다.

• 일치 사례: 수정되지 않은 자연스러운 트랜스크립트.
• 불일치 사례: 특정 불일치 하위 유형을 도입하기 위해 외과적으로 수정된 실제 트랜스크립트.
• 검증: 스캐너는 벤치마크에서 0.82의 전체 F1 점수를 달성했습니다. 성능은 추론 역전, 형식적 추론, 부재된 추론에서 가장 높았으며, 모순된 추론과 외견상 혼란은 탐지가 더 어려운 것으로 나타났습니다.

실험 설정

검증된 스캐너는 inspect evals 라이브러리에 있는 세 가지 안전 관련 평가의 트랜스크립트에 적용되었으며, 이는 네 가지 모델(Gemini 3.1 Pro, GPT 5.4, DeepSeek V4 Pro, gpt-oss-120b)에 의해 생성되었습니다.

• InstrumentalEval: 도구적 수렴(자기 보존, 권력 추구, 기만)을 테스트합니다.
• MORU: 도덕적 불확실성 추론(개방형 형식)을 테스트합니다합니다.
• Agentic Misalignment: 유해한 에이전트 행동(시뮬레이션된 기업 시나리오)을 테스트합니다.
• SAD (Situational Awareness): 배포 컨텍스트에 대한 지식(객관식 형식)을 테스트합니다.

참고: GPT 5.4는 기본 API 설정이 원시 추론 토큰을 노출하지 않고 암호화된 요약만을 제공했기 때문에, 비용이 많이 드는 재생성 없이는 일관성 스캐닝이 불가능하여 최종 결과에서 제외되었습니다.

주요 결과

연구 결과, 추론 불일치는 존재하며, 탐지 가능하고, 모델과 작업 유형에 따라 체계적으로 변화함을 발견했습니다.

1. 보급률: 불일치 발생률은 구성에 따라 0.0%에서 26.0% 사이였습니다.
2. 작업 유형별 차이: 작업 형식 간에 강한 차이가 관찰되었습니다. SAD 서브셋(객관식)은 MORU(개방형)와 비교했을 때 현저히 높은 불일치율(예: Gemini 3.1 Pro의 sad stages full에서 최대 26.0%)을 보였습니다. 저자들은 제약된 객관식 형식이 모델로 하여금 추론을 형식적인 절차로 취급하게 만들어, 형식적이거나 부재된 추론을 유도한다고 가설을 세웠습니다.
3. 모델 가변성: 단일 모델이 일관되게 높거나 낮은 불일치를 보이지 않았습니다. 예를 들어, DeepSeek V4 Pro는 SAD 작업에서는 불일치가 높았으나 MORU에서는 낮았던 반면, gpt-oss-120b는 그 반대의 패턴을 보였습니다. 이는 불일치가 일반적인 모델 특성이 아니라 작업-모델 상호작용에 의해 발생함을 시사합니다.
4. 지배적인 하위 유형: 데이터셋 전반에서 형식적 추론과 부재된 추론이 지배적인 하위 유형이었으며, 특히 객관식 작업에서 두드러졌습니다.

의의 및 주장

본 논문은 최초의 범용 CoT 일관성 스캐너를 소개하며, 안전성 평가 트랜스크립트에 이러한 분석을 적용한 첫 사례라고 주장합니다. 주요 기여는 다음과 같습니다:

• 방법론적: 충실도(개입 필요)와 일관성(사후 탐지 가능) 사이의 공식적 구분을 제공하여, 기존 평가 코퍼스를 감사하기 위한 새로운 지표를 제공합니다.
• 도구화: 안전성 평가에서 분리된 추론을 식별하는, 재사용 가능하고 검증된 InspectScout 기반 스캐너를 구현했습니다.
• 경험적 증거: 추론 불일치가 자연스러운 안전성 평가, 특히 객관식 형식에서 실재하는 현상임을 입증하였으며, 이는 추론 흔적을 안전 관련 속성의 증거로 사용하는 것의 타당성을 약화시킵니다.

저자들은 추론과 출력이 분리될 때 평가 결과를 신뢰할 수 없으며, CoT 모니터링이 신뢰할 수 없게 된다고 결론짓습니다. 이 연구는 기존의 안전 감사 기록에서 이러한 타당성 위협을 식별하기 위한 체계적인 도구를 제공합니다.