기술 요약: 대규모 추론 모델을 위한 딥 인터랙션 (Deep Interaction)

1. 문제 정의

연쇄 사고(Chain-of-Thought, CoT) 추론은 복잡하고 다단계적인 과제를 해결하는 데 있어 대규모 언어 모델(LLM)의 능력을 크게 향상시켰으나, 오류를 수정하기 위한 현재의 인간-AI 상호작용 방식은 비효요적입니다. LLM이 오류가 포함된 추론 체인을 생성할 때, 표준적인 대화형 수정 방식은 일반적으로 사용자가 후속 턴에서 실수를 지적하는 과정을 거칩니다. 그러나 이러한 접근 방식은 다음과 같은 이유로 종종 실패합니다:

• 오류의 반복: 모델이 오류를 인정하더라도(예: "맞습니다, 제가 실수했습니다"), 이후에 동일한 오류를 반복하거나 유사하게 잘못된 궤적을 따르는 응답을 다시 생성할 수 있습니다.
• 비효율성: 반복적인 대화는 긴 대화를 요구하며, 이는 토큰 사용량을 증가시키고 긴 컨텍스트 창에서 모델이 핵심 정보를 놓칠 위험을 높입니다.
• 암기와 고착된 사고 (Sticky Thinking): 모델은 암기된 학습 패턴이나 "고착된" 초기 토큰에 의존하여, 새로운 지침에 의해 유도되더라도 잘못된 추론 경로로 되돌아가는 경향이 있습니다.
• KV 캐시 효과: 웹 기반 인터페이스에서 세션 히스토리와 KV 캐시는 입력의 의미론적 변화에도 불구하고 모델이 이전 응답을 그대로 재현하게 만들 수 있습니다.

기존의 자기 수정 방식(예: Self-Refine, RCoT)은 특히 오류가 미묘하거나 추론 체인에 깊게 박혀 있는 경우, 스스로의 추론 실수를 효과적으로 찾아내고 수정하는 데 어려움을 겪습니다.

2. 방법론: 딥 인터랙션 (Deep Interaction)

본 논문은 대화형 피드백에서 모델의 추론 출력을 직접 편집하는 패러다임으로 전환하는 **딥 인터랙션(Deep Interaction)**을 제안합니다. 이 접근 방식은 CoT 응답을 사용자가 수정할 수 있는 하나의 문서처럼 취급하며, 이는 워드 프로세서의 "변경 내용 추적" 모드와 유사합니다.

핵심 프레임십

프로세스는 세 가지 주요 단계로 구성됩니다:

1. 인간 편집 (Human Editing): 사용자는 모델의 초기 CoT 응답($C_r$)에서 오류를 식별하고, 이를 수정된 버전($C'_r$)으로 만들기 위해 텍스트를 직접 편집합니다. 이를 통해 전체 체인을 다시 작성하지 않고도 특정 추론 단계에 정밀하게 개입할 수 있습니다.
2. 변경 사항 추적 및 처리 (Change Tracking and Processing): 시스템은 Myers Diff 알고리즘을 사용하여 원본 텍스트와 편집된 텍스트 사이의 수정 사항을 감지합니다. 편집된 CoT는 세 부분으로 분할됩니다:
   • Pre-edit (편집 전): 수정 전의 내용.
   • Edit-section (편집 구간): 수정된 내용.
   • Post-edit (편집 후): 수정 이후의 내용.
     각 세그먼트에 대해 다음과 같은 특정 처리 전략이 적용됩니다:
   • 강조 (Emphasis): 편집된 섹션은 모델의 주의를 끌기 위해 강조 표시(예: 마크다운 **굵게**)됩니다.
   • 가지치기 (Pruning): 노이즈를 줄이기 위해 가치가 낮은 구절과 의미론적으로 중복되는 구간을 제거합니다.
   • 제거 (Removing): 편집에 의해 무효화될 수 있는 후속 내용을 제거하여 일관성을 방지하며, 필요한 경우 구조적 헤더만 유지합니다.
   • 탈구조화 (Delexicalization): 모델이 의미론적 추론 대신 암기된 표면 형태에 의존하는 것을 방지하기 위해 수치 값을 마스킹합니다.
3. 의미론적 정제 (Semantic Refinement - CoT Reprompter): 순차적 암기로 인해 모델이 원래의 잘못된 접미사를 재생성하는 것을 방지하기 위해, 편집된 CoT는 CoT Reprompter에 의해 처리됩니다. 이 구성 요소(대규모 LLM을 통한 퓨샷 프롬프팅 또는 경량 LLM 파인튜닝을 통해 구현됨)는 편집된 내용을 구조화된 "Feedback-CoT"로 증류합니다. 이는 새로운 입력($Q_{r+1}$)이 수정된 의미론을 보존하면서도 중복을 줄이고 원래의 오류 궤적과의 연결을 끊도록 보장합니다.

다음 추론 라운드를 위한 최종 입력은 원래의 쿼리($Q_r$)와 처리 및 편집된 CoT($C'_r$)의 결합이며, 이는 LLM이 수정된 응답($C_{r+1}$)을 생성하도록 유도합니다.

3. 주요 기여

• 직접 편집 패러다임: LLM 상호작용을 위한 "수정 모드"를 도입하여, 반복적인 대화에 의존하는 대신 사용자가 추론 단계를 직접 편집할 수 있게 합니다.
• 세밀한 수정 메커니즘: 텍스트 차이 분석(Myers Diff), 의미론적 가지치기, 탈구조화를 결합하여 인간의 편집을 효과적인 프롬프트로 변환하는 기술적 파이프라인을 제공합니다.
• CoT Reprompter를 통한 증류: 편집된 CoT 구간을 최적화된 프롬프트로 변환하여 모델이 암기된 잘못된 연속성으로부터 벗어나도록 유도합니다.
• 실증적 검증: 다양한 모델(Qwen, GPT, Gemini, Claude)과 난이도 수준에 걸친 여러 벤치마크(ScienceQA, Gaokao-MM, LogicQA, 그리고 커스텀 STEM20K 데이터셋)를 통해 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 다양한 모델(Qwen, GPT, Gemini, Claude)과 난이도 수준에 대해 딥 인터랙션을 대화 기반 수정 방식 및 자기 수정 베이스라인(RCoT, Self-Refine)과 비교 평가했습니다.

• 수정 성공률: 딥 인터랙션은 STEM 및 논리 추론 작업에서 베이스라인 대화 방식에 비해 25% 이상의 개선된 수정 성공률을 달-성했습니다.
• 토큰 효율성: 이 방법은 대화 기록의 누적을 피함으로써 다회차 대화에 비해 토큰 사용량을 약 40% 감소시켰습니다.
• 라운드별 성능:
  • STEM20K 데이터셋에서 딥 인터랙션의 2라운드 내 통과율은 **79.27%**였으며, 이는 대화 기반 방식의 **72.93%**와 대조됩니다.
  • Gaokao-MM에서 딥 인터랙션은 4라운드 내에 **93.42%**의 통과율에 도달하여 대화 베이스라인(88.85%)을 능가했습니다.
  • 이 방법은 다양한 모델 규모(Qwen2.5-VL 7B에서 72B까지)에서 일관된 이득을 보였으나, 7B 모델의 경우 절대적인 이득이 더 작았으며, 이는 모델의 역량이 여전히 중요한 요소임을 나타냅니다.
• 오류 유형 분석: 이 방법은 추론 일관성과 수치 계산 오류를 수정하는 데 특히 효과적이었습니다. 그러나 저자들은 이미지 인식 오류는 대화 및 편집 방식 모두 시각적 의미 해석에 어려움을 겪기 때문에 여전히 도전적인 과제로 남아 있다고 언급했습니다.
• 절제 연구 (Ablation Studies): 편집 가능한 응답, 텍스트 처리, 또는 CoT Reprompter 중 하나라도 제거하면 성능이 크게 저하되었으며, 이는 전체 파이프라인의 필요성을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 딥 인터랙션을 복잡한 추론 작업을 위한 효율적인 인간-AI 협업을 향한 중요한 단계로 규정합니다. 저자들의 주장은 다음과 같습니다:

• 효율성: 직접적이고 타겟팅된 편집을 가능하게 함으로써 대화형 수정의 비효율성을 해결하고, 토큰 비용과 상호작용 시간을 크게 줄입니다.
• 강건성: 표준 대화형 수정에서 발생하는 "고착된 사고" 및 암기 문제를 완화하여, 모델이 진정으로 추론 경로를 조정할 수 있도록 합니다.
• 확장성: 이 접근 방식은 다양한 모델 제품군과 규모에서 효과적이므로, 특정 모델 아키텍처에 국한된 것이 아닌 일반화 가능한 상호작용 방법임을 시사합니다.
• 한계: 저자들은 이 방법이 오류를 식별할 수 있는 능력을 갖춘 사용자(전문가 또는 준전문가 사용자에게 더 적합함)에 의존하며, 모델이 중간 추론 흔적(CoT)을 노출해야 한다는 점을 겸허히 인정합니다. 또한 사용자가 잘못된 가이드를 제공할 경우 모델이 이를 충실히 전파할 수 있다는 점도 언급했습니다.

이 작업은 SafeWork-R1의 "Human-CoT" 애플리케이션 모드로 배포되어 실제 시스템에서의 실용성을 입증하고 있습니다.