💻 computer science

Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs

이 논문은 하이브리드 사고형 MLLM의 사고 모드와 비사고 모드 간의 응답 패턴에서 나타나는 체계적인 불일치를 드러내는 진단 벤치마크인 PatternEval을 소개하고, 작업 성능을 유지하면서 이러한 행동들을 정렬하기 위해 패턴 특화 페널티를 사용하는 강화 학습 프레임워크인 PatternRL을 제안한다.

원저자: Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Ya

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Yao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사진을 보고, 차트를 읽고, 까다로운 퍼즐을 풀 수 있는 아주 똑똑한 로봇 친구와 대화하고 있다고 상상해 보세요. 때때로 당신은 로봇에게 문제를 단계별로 해결하며 충분히 시간을 가질 수 있도록 "깊이 생각하라"고 요청합니다. 또 다른 때에는 빠른 답변을 원하기 때문에, 긴 사고 과정 없이 "그냥 추측해 봐"라거나 직접적인 답변을 내놓으라고 말하기도 합니다. 이것이 바로 텍스트와 이미지를 모두 이해할 수 있는 AI 시스템인 **멀티모달 거대 언어 모델(MLLMs)**의 세계입니다. 과학자들이 던지는 핵심 질문은 단순히 "정답이 맞는가?"가 아니라, "로봇이 깊이 생각할 때와 그냥 추측할 때 똑같이 행동하는가?"입니다. 만약 로봇이 깊이 생각한 후에는 완벽한 답을 내놓지만, 빠른 답변을 요구했을 때 자신의 속마음을 흘리거나, 말을 반복하거나, 스스로 모순된 말을 한다면 그것은 문제입니다. 우리는 AI가 고민할 시간을 얼마나 주느냐에 상관없이 신뢰할 수 있고 예의 바르기를 원합니다.

**"Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs"**라는 제목의 이 논문은 바로 그 문제를 깊이 파고듭니다. 연구진은 가장 똑똑한 AI 모델들조차 기묘한 "분열된 인격"을 가지고 있다는 사실을 발견했습니다. 천천히 생각하도록 허용되면 이들은 차분하고 전문적인 전문가처럼 행동합니다. 하지만 빠르고 생각하지 않는 방식으로 강요받으면, 이들은 종종 엉망으로 행동하기 시작합니다. 최종 답변에 내부적인 "사고 과정"을 실수로 흘리거나, 같은 문장을 계속 반복하거나, 동시에 두 가지 상반된 말을 하거나, 실제로 아무런 작업도 하지 않으면서 추론하는 척을 하곤 합니다.

이를 증명하기 위해 연구팀은 이러한 엉망인 행동들을 잡아내기 위해 특별히 설계된 "함정" 시험인 PatternEval을 만들었습니다. 그들은 25개의 서로 다른 AI 모델(Qwen, Kimi, Claude와 같은 유명 모델 포함)을 2,415개의 까다로운 이미지 및 텍스트 퍼즐로 테스트했습니다. 결과는 놀라웠습니다. 가장 진보된 모델들조차 "사고 모드"와 "비사고 모드" 사이에 거대한 격차를 보였습니다. 실제로 많은 모델에서, 빠르고 생각하지 않는 모드는 기본적인 대화 규칙을 지키지 못하는 경우가 거의 **48%**에 달했던 반면, 느리게 생각하는 모드는 훨씬 깔끔했습니다.

이를 해결하기 위해 저자들은 PatternRL이라는 새로운 학습 방법을 만들었습니다. 이것은 학생에게 수학 문제를 맞히는 법뿐만 아니라, 낙서를 하거나 반복하지 않고 깔끔하게 글을 쓰는 법을 가르치는 것과 같습니다. 그들은 네 가지 특정한 나쁜 습관을 포착하도록 "판사" AI(PatternRM)를 훈련시켰습니다:

사고의 사슬 유출(Chain-of-thought leakage): 비밀스러운 "사고" 단계를 최종 답변에 흘리는 것.
응답 반복(Response repetition): 이유 없이 같은 말을 두 번 하는 것.
논리적 모순(Logical contradiction): 동일한 것에 대해 동시에 "예"와 "아니오"라고 말하는 것.
수행적 추론(Performative reasoning): 실제 근거를 전혀 사용하지 않으면서 추론하는 척하는 것.

이 새로운 학습법을 두 가지 특정 모델(Qwen3-VL-4B 및 Qwen3-VL-8B)에 적용했을 때, 빠른 모드에서의 엉망인 행동들이 정답을 맞히는 능력을 해치지 않으면서도 약 13~14 퍼센트 포인트 정도 크게 감소했습니다. 그러나 연구진은 작은 트레이드오프(절충점)도 언급했습니다. 모델들이 매우 어려운 수학 및 논리 과제에서 약간 덜 정확해졌는데, 이는 "깔끔하게" 행동하도록 강요하는 것이 때로는 창의적이지만 (다소 엉망일 수 있는) 문제 해결 방식을 탐구하는 것을 막을 수 있음을 시사합니다.

요약하자면, 이 논문은 AI가 문제를 풀 수 있다고 해서 반드시 인간과 대화할 준비가 된 것은 아니라는 점을 시사합니다. 진정으로 도움이 되기 위해서, AI는 무엇을 말할 것인가뿐만 아니라 어떻게 말할 것인가에 대해서도 훈련받아야 하며, 긴 시간을 들여 생각하든 빠른 답변을 주든 일관되고 예의 바른 태도를 유지해야 합니다.

기술 요약: 정확성을 넘어: 하이브리드 사고형 MLLM의 응답 동작 벤치마킹 및 정렬

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 점차 **하이브리드 사고 인터페이스(hybrid-thinking interfaces)**를 갖추어 배포되고 있습니다. 이 인터페이스는 두 가지 뚜렷한 추론 모드를 제공합니다: 심층 사고 모드(deliberative thinking mode)(추론을 위해 추가적인 테스트 시간 연산을 할당함)와 비사고 모드(non-thinking mode)(엄격한 지연 시간 및 토큰 예산 하에 직접적인 답변을 반환함)입니다. 이러한 모드들은 추론 예산은 다르지만, 동일한 사용자 지향적 품질 표준을 충족해야 합니다.

본 논문은 중요한 격차를 식별합니다: 정확성만으로는 충분하지 않습니다. 모델이 비사고 모드에서 사실적으로 정확한 답변을 생성할 수 있지만, 내부 추론 흔적을 유출하거나, 내용을 반복하거나, 논리적 모순을 일으키거나, 정보 이득 없이 수행적 추론(performative reasoning)을 하는 것과 같은 바람직하지 않은 응답 동작을 보일 수 있습니다. 저자들은 두 모드 사이의 이러한 사용자 가시적 동작 차이를 **응답 패턴 불일치(response-pattern misalignment)**라고 명명했습니다. 현재의 최적화 전략은 종종 답변의 정확성이나 효율성에 우선순위를 두며, 전달되는 응답의 형태를 제약하는 데 실패하여, 비사고 인터페이스가 사고형 인터페이스보다 현저히 높은 실패율을 보이는 체계적인 불일치를 초래합니다.

2. 방법론

2.1 PatternEval: 실패가 풍부하게 포함된 진단 벤치마크

이러한 불일치를 정량화하기 위해 저자들은 세 가지 작업 패밀리에 걸친 2,415개의 멀티모달 프롬프트로 구성된 벤치마크인 PatternEval을 도입합니다:

시각적 인지 및 그라운딩 (VG): OOD(분포 외) 인지, 콘텐츠 인식, 그라운딩 및 사실성을 포함합니다.
OCR 및 구조화된 이미지 이해 (OS): OCR 및 차트 이해를 포함합니다.
멀티모달 지식 추론 (KR): STEM, 지식 및 일반 추론 작업을 포함합니다.

PatternEval은 특히 네 가지 반복적인 응답 패턴 실패를 스트레스 테스트하도록 설계되었습니다:

사고 과정(CoT) 유출 (CoT Leakage): 내부 프로세스 흔적, 초안 분석 또는 사고 마커가 최종 사용자 가시적 답변에 나타나는 현상.
응답 반복 (Repetition): 문장, 의미적 내용 또는 구조의 불필요한 반복.
논리적 모순 (Contradiction): 동일한 응답 내에서 서로 양립할 수 없는 주장.
수행적 추론 (Performative Reasoning): 정보 이득을 가져오지 못하는 지원되지 않는 추론 래퍼(wrapper)나 분석.

평가 프로토콜:

판단자(Judges): 검증 판별기(Qwen3-Max)는 작업의 정확성( $c$ )을 평가하며, 패턴 판별기(이미지 접근 권한이 있는 Seed-2.0-Pro)는 네 가지 실패 유형에 대해 이진 레이블( $b_{cot}, b_{rep}, b_{con}, b_{pr}$ )을 할당합니다.
지표: 벤치마크는 정확도($Acc $)와, 적어도 하나의 실패 패턴을 보이는 응답의 비율인 **트리거율**($ Trigger $)을 보고합니다. 두 모드 간의 격차는$ \Delta_{pat} = Trigger_{NT} - Trigger_{T}$로 측정됩니다.

2.2 PatternRM 및 PatternRL: 강화 학습을 통한 정렬

식별된 불일치를 해결하기 위해 저자들은 사후 학습(post-training) 프레임워크를 제안합니다:

PatternRM (보상 모델): 57,578개의 주석이 달린 인스턴스를 통해 지도 미세 조정(SFT)으로 훈련된 특화된 보상 모델입니다. 이는 생성된 텍스트를 기반으로 네 가지 실패 레이블을 예측합니다(효율성을 위해 텍스트 전용 입력 사용). 이 모델은 인간과 정렬된 패턴 판별기를 근사하도록 훈련됩니다.
PatternRL (강화 학습): 보상 함수에 패턴별 페널티를 통합하는 정책 최적화 방법입니다.
- 보상 설계: 최종 보상 $r$ 은 정확성을 위한 검증 보상( $s_{ver}$ )과 보조 패턴 보상( $s_{pat}$ )을 결합합니다.
- $s_{pat} = -z \cdot \min(0.1, \sum w_p \hat{b}^p_{RM})$ 이며, 여기서 $w$ 는 각 실패 유형에 대한 가중치입니다 (CoT와 Rep에는 높게, Con과 PR에는 낮게 설정).
- 이 설계는 틀린 답변에는 제로 보상을 부여하는 동시에, 정답이라 하더라도 바람직하지 않은 패턴을 보일 경우 페널티를 부여함으로써, 주요 정확성 목표를 무시하지 않으면서도 패턴 제약을 준수하도록 보장합니다.

3. 주요 결과

3.1 벤치마크 결과 (PatternEval)

25개의 모델 구성(Qwen, Kimi, Seed, Claude, Mimo, GPT 계열 포함)에 대한 평가 결과는 다음과 같습니다:

체계적 불일치: 비사고 추론은 사고형 추론보다 일관되게 높은 실패율을 보입니다. 모든 모델에서 격차( $\Delta_{pat}$ )는 양수이며, 일부 최첨단 모델(예: Kimi-K2.6)은 격차가 48.64 퍼센트 포인트에 달하기도 합니다.
지배적인 실패 모드: CoT 유출과 응답 반복이 가장 빈번한 실패 유형이며, 특히 비사고 모드에서 두드러집니다.
역량 vs 정렬: 모델 규모를 키우는 것(예: Qwen3.5 시리즈의 4B에서 397B로)은 작업 정확도를 향상시키지만, 교차 모드 트리거 격차를 균일하게 줄이지는 못합니다. 격차는 더 큰 모델에서도 여전히 상당한 수준(21~26 퍼센트 포인트)으로 유지됩니다.
길이 상관관계: 응답 길이와 트리거율 사이에는 강한 양의 상관관계가 존재합니다 ( $r=0.84$ (사고 모드), $r=0.64$ (비사고 모드)). 오답은 일반적으로 정답보다 길고 실패에 취약합니다.

3.2 사후 학습 결과 (PatternRL)

Qwen3-VL-4B 및 Qwen3-VL-8B에 대한 실험 결과는 다음과 같습니다:

실패 감소: PatternRL은 정확성 전용 베이스라인(BaseRL)에 비해 비사고 트리거율을 유의미하게 감소시킵니다.
- Qwen3-VL-4B: 트리거가 13.08 퍼센트 포인트 감소했습니다.
- Qwen3-VL-8B: 트리거가 14.35 퍼센트 포인트 감소했습니다.
정확도 트레이드오프: PatternRL은 8B 모델에서 베이스라인 대비 종합 정확도를 유지하지만, 4B 모델의 경우 수학 및 논리 작업에서 정확도가 약간 하락하는 등 미미한 트레이드오프가 발생합니다.
일반화: 이 방법은 서로 다른 모드를 위한 별도의 모델을 요구하지 않고도 다양한 작업 패밀리(VG, OS, KR) 전반에서 응답 패턴 실패를 효과적으로 완화합니다.

4. 기여

응답 패턴 정렬의 공식화: 본 논문은 응답 패턴 정렬을 답변 정확성에 보완적인 요구 사항으로 정의하며, 사용자에게 보이는 동작이 추론 인터페이스 전반에서 일관성을 유지해야 함을 강조합니다.
PatternEval 벤치마크: 하이브리드 사고형 인터페이스 하에서 네 가지 특정 사용자 가시적 실패를 스트레스 테스트하는 실패 풍부 진단 세트를 도입하여, 최첨단 모델들 사이에서 일관된 불일치 격차를 밝혀냈습니다.
PatternRM 및 PatternRL 프레임워크: 응답 패턴 실패를 명시적으로 페널티를 주는 응답 수준의 보상 모델과 강화 학습 전략을 개발했습니다. 이 접근 방식은 작업 성능을 대체로 유지하면서 불일치를 성공적으로 완화합니다.

5. 의의 및 주장

본 논문은 제어 가능한 추론 노력이 불안정한 응답 동작의 대가로 치러져서는 안 된다고 주장합니다. 강력한 작업 성능이 반드시 다양한 추론 인터페이스 전반에서 안정적인 응답 패턴을 보장하는 것은 아님을 입증합니다. PatternEval과 PatternRL을 도입함으로써, 저자들은 하이브리드 사고형 MLLM이 정답을 맞힐 뿐만 아니라 일관되고 간결하며 의도하지 않은 프로세스 서술이 없는 응답을 전달하도록 하는 실질적인 프레임워크를 제공합니다.

저자들은 PatternRL이 실패를 줄이기는 하지만 완전히 제거하지는 못한다는 점을 겸허히 언급하며, 근본적인 개선을 위해서는 RL 단계뿐만 아니라 초기 훈련 단계(예: SFT)에서부터 고품질의 감독 데이터와 제약 조건이 적용되어야 함을 시사합니다. 또한, 용량 의존적 트레이드오프를 관찰했는데, 즉 더 작은 모델일수록 패턴 인식 최적화에 의한 제약으로 인해 더 많은 피해를 입을 수 있음을 보여줍니다.