🤖 AI

Reasoning While Asking: Transforming Reasoning Large Language Models from Passive Solvers to Proactive Inquirers

본 논문은 가정과 의도 불확실성을 해결하기 위해 내부 추론과 사용자 명확화 요청을 교차하여 추론형 LLM 을 수동적 문제 해결자에서 능동적 질문자로 전환하는 새로운 패러다임인 능동적 상호작용 추론 (PIR) 을 소개함으로써 정확성과 효율성을 크게 향상시키고 계산 비용을 절감합니다.

원저자: Xin Chen, Feng Jiang, Yiqian Zhang, Hardy Chen, Shuo Yan, Wenya Xie, Min Yang, Shujian Huang

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Chen, Feng Jiang, Yiqian Zhang, Hardy Chen, Shuo Yan, Wenya Xie, Min Yang, Shujian Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Reasoning While Asking"(PIR) 논문에 대한 설명을 개념을 명확하게 하기 위한 비유를 사용하여 쉽고 일상적인 언어로 정리합니다.

문제: "과도하게 생각하는" 학생

수학 문제를 풀도록 학생에게 지시하는 선생님이 있다고 상상해 보세요. 그 학생은 매우 똑똑하고 수천 개의 공식을 외우고 있습니다. 하지만 이상한 버릇이 하나 있습니다: 그는 결코 명확히 하지 않습니다.

만약 당신이 "데이터 스크립트를 수정해 줘"라고 말하면, 그 학생은 "어떤 스크립트야? 어떤 형식이지?"라고 묻지 않습니다. 대신 당신이 무엇을 의미할지 추측하며 2,000 단어의 에세이를 즉시 쓰기 시작합니다. 그들은 잘못된 스크립트를 추측하거나, 막히거나, 겉보기엔 좋지만 틀린 해법을 착각해 만들어내거나, 엄청난 시간과 에너지를 낭비할 수 있습니다. 이것이 논문에서 **"맹목적인 자기 사고 (Blind Self-Thinking)"**라고 부르는 것입니다. 현재의 AI 모델은 바로 이런 학생과 같습니다: 그들은 생각하기를 너무 eagerly 해서 실제로 모든 사실을 가지고 있는지 확인하는 것을 잊어버립니다.

해결책: "적극적인 형사"(PIR)

저자들은 AI 가 작동하는 새로운 방식을 제안하는데, 이를 **적극적 상호작용 추론 (Proactive Interactive Reasoning, PIR)**이라고 합니다. 단순히 추측하는 수동적인 해결사가 되는 대신, AI 는 적극적인 형사가 됩니다.

범죄를 해결하는 형사를 생각해 보세요. 목격자가 "차를 봤다"고 말하면, 형사는 즉시 "파란 세단"에 대한 보고서를 쓰지 않습니다. 대신 "차의 색깔은 뭐였어? 과속을 했어? 번호판을 봤어?"라고 묻습니다.

PIR 은 AI 에게 똑같은 일을 하도록 가르칩니다:

멈추고 확인하기: 긴 추론 과정에 뛰어들기 전에, AI 는 자신의 확신을 점검합니다. "이 문제를 풀기에 내가 정말로 충분한 지식을 가지고 있는가?"
먼저 묻기: AI 가 불확실하다고 느낄 때 (단서가 부족한 형사처럼), 멈추고 누락된 정보를 얻기 위해 사용자에게 구체적인 질문을 합니다.
효율적으로 해결하기: 사용자가 답변하면, AI 는 그 새로운 정보를 활용하여 맹목적인 추측에 시간을 낭비하지 않고 빠르고 정확하게 문제를 해결합니다.

AI 에게 이를 가르친 방법

연구자들은 단순히 AI 에게 "질문을 하라"고 말하지 않았습니다. 그들은 두 가지 특정 단계를 가진 훈련 체육관을 구축했습니다.

1 단계: "스크립트" 훈련 (지도 미세 조정)
새 직원을 스크립트를 주어 가르치는 것처럼 상상해 보세요. 연구자들은 기존 문제들을 가져와서 AI 가 질문을 해야 할 "의심스러운 순간"을 인위적으로 삽입했습니다. 그런 다음 AI 가 "무슨 뜻이야?"라고 묻고 사용자가 답변하는 스크립트를 작성했습니다. AI 는 언제 멈추고 질문해야 하는지 그 패턴을 배울 때까지 이러한 스크립트들을 읽는 연습을 했습니다.

2 단계: "시뮬레이션" 훈련 (사용자 시뮬레이터 최적화)
이 부분이 영리한 부분입니다. AI 를 24 시간 내내 실제 인간과 대화하게 하여 훈련시킬 수는 없습니다 (너무 느리고 비용이 많이 들기 때문입니다). 그래서 연구자들은 인간 사용자와 같은 역할을 하도록 프로그래밍된 사용자 시뮬레이터라는 두 번째 AI 를 구축했습니다.

메인 AI 가 문제를 해결하려고 시도하고 시뮬레이터 AI 가 사용자 역할을 하는 게임을 만들었습니다.
메인 AI 가 올바른 답변을 빠르게 이끌어내는 좋은 질문을 하면 높은 점수 (보상) 를 받습니다.
메인 AI 가 질문을 너무 많이 하거나 맹목적으로 추측하면 낮은 점수를 받습니다.
시간이 지남에 따라 AI 는 확신을 갖기에 충분한 만큼만 질문하되, 사용자를 귀찮게 하지 않을 정도로만 질문하는 완벽한 균형을 배우게 됩니다.

결과: 더 빠르고, 더 똑똑하며, 낭비가 적음

이 논문은 이 새로운 "형사 AI"를 수학, 코딩, 문서 편집이라는 세 가지 유형의 작업에서 테스트했습니다. 이전의 "과도하게 생각하는" AI 와 비교했을 때 다음과 같은 일이 발생했습니다.

더 나은 정확도: 누락된 정보를 추측하지 않았기 때문에 새로운 AI 는 정답을 훨씬 더 자주 맞췄습니다 (일부 수학 테스트에서는 최대 32% 향상).
덜 많은 낭비: 약 **절반의 컴퓨팅 파워 (토큰)**만 사용했습니다. 2,000 단어의 추측을 작성하는 대신, 한 가지 질문을 하고 500 단어의 해결책을 작성했습니다.
더 적은 턴: 질문을 했음에도 불구하고, 오가는 메시지의 총 수는 더 낮았습니다. 이는 나중에 잘못된 추측을 수정하기 위해 다시 돌아가는 대신, 처음부터 문제를 올바르게 해결했기 때문입니다.
실제 세계 테스트: 실제 인간을 대상으로 한 블라인드 테스트에서 참가자들은 새로운 AI 를 선호했습니다. 정보가 부족할 때 "착각 (hallucinate)"하여 무언가를 만들어내지 않는 점을 좋아했습니다. 그들은 더 도움이 되고 효율적이라고 느꼈습니다.

요약

이 논문은 AI 가 "맹목적으로 과도하게 생각"하는 것을 막아주는 시스템을 소개합니다. AI 가 혼란스러울 때를 인식하고 추측하기 전에 도움을 요청하도록 훈련시킴으로써, 더 효율적이고 정확하며 사용자 친화적인 파트너가 됩니다. 이는 답을 추측하는 학생에서 사실을 먼저 수집하는 형사로 AI 를 변모시킵니다.

기술 요약: 질문하며 추론하기 (PIR)

문제 정의

GPT-o1 및 DeepSeek-R1 과 같은 현재 추론 중심의 대규모 언어 모델 (LLM) 은'맹목적인 자기 추론'패러다임 하에 작동합니다. 이러한 모델들은 내부적인 사고 연쇄 (Chain-of-Thought, CoT) 흔적을 생성하는 데 뛰어납니다. 하지만 근본적으로 추론이 정보 부족 상태이거나 사용자의 지시가 모호할 때 이를 인지하는 능력이 부족합니다. 실제 상호작용에서 흔히 발생하는 불완전하거나 모호한 프롬프트에 직면했을 때, 이러한 모델들은 누락된 전제가 있더라도 광범위한 내부 추론을 고수하는 경향이 있습니다. 이러한 행동은'과도한 추론', 할루시네이션, 불일치한 결론, 그리고 상당한 계산 자원의 낭비로 이어집니다. 또한, 기존의 대화형 LLM 은 종종 오류 발생 후 사용자의 피드백에만 반응하는'수동적 해결사'로 머무르며, 추론 과정에서 능동적으로 모호성을 해소하지는 못합니다.

방법론: 능동적 대화형 추론 (PIR)

저자들은 LLM 을 수동적 해결사에서 능동적 탐구자로 전환하는 **능동적 대화형 추론 (Proactive Interactive Reasoning, PIR)**을 제안합니다. PIR 은 추론과 명확화 (clarification) 를 교차시켜, 모델이 누락된 전제를 감지하고 사용자와의 상호작용을 자율적으로 시작할 수 있도록 합니다. 이 프레임워크는 두 가지 명확한 단계를 통해 구현됩니다:

단계 I: 대화 능력 활성화 (불확실성 인지 감독 미세 조정)

모델에게 질문할 수 있는 구조적 능력을 부여하기 위해, 저자들은 불확실성 인지 감독 미세 조정 (Uncertainty-Aware SFT) 절차를 도입합니다.

불확실성 감지: 시스템은 추론 단계의 예측 엔트로피 (Predictive Entropy, PE) 를 계산합니다. 높은 PE 를 가진 단계 (낮은 모델 신뢰도를 나타냄) 는 중요한 결정 지점으로 식별됩니다.
데이터 증강: 이러한 높은 불확실성 지점에서 선형적인 CoT 흔적은 교차된'생각 - 질문 - 응답'형식으로 변환됩니다. 강력한 지시 따르기 모델 (예: GPT-4o-mini) 이 명확화 질문을 삽입하고 이에 상응하는 사용자 응답을 시뮬레이션합니다.
학습: 모델은 이러한 증강된 궤적들을 기반으로 미세 조정되어, 불확실성 → 명확화 → 개선된 추론이라는 인과 패턴을 학습합니다.

단계 II: 사용자 의도 정렬 (US-GRPO)

언제 그리고 어떻게 효율적으로 질문할지 최적화하기 위해, 저자들은 **사용자 시뮬레이터 그룹 상대 정책 최적화 (User-Simulator Group Relative Policy Optimization, US-GRPO)**를 개발했습니다.

동적 사용자 시뮬레이터: 특정 사용자 의도 $I$ 에 조건부인 사용자 시뮬레이터 $S$ 는 근본적인 목표와 일관된 응답을 생성합니다. 이는 실제 인간 상호작용의 비용 없이 학습을 위한 제어 가능한 환경을 조성합니다.
복합 보상 함수: 최적화는 다음 두 가지 요소를 결합한 보상 함수 $R(y)$ $R (y)$ 에 의해 주도됩니다:
1. 출력 보상 ( $R_{output}$ ): 최종 답변이 정답 (ground truth) 과 일치하도록 보장합니다.
2. 추론 보상 ( $R_{reason}$ ): 답변이 정확할 때만 평가되며, 이 구성 요소는 효율성 (불필요한 상호작용 턴에 대한 패널티 부과) 과 유용성 (LLM 판정자를 통한 명확화 질문의 품질 평가) 을 균형 있게 조절합니다.
최적화: GRPO 를 사용하여 모델은 근거 없는 자기 추론보다 의도 해결을 우선시하도록 학습하며, 불필요한 턴을 최소화하면서 작업 성공을 극대화합니다.

주요 기여

'맹목적인 자기 추론'의 형식화: 본 논문은 추론 모델이 누락된 정보를 인식하지 못해 할루시네이션과 비효율성이 초래되는 한계를 식별하고 형식화합니다.
PIR 프레임워크: 모델이 불확실성을 능동적으로 감지하고 명확화를 시작할 수 있게 하는 새로운 2 단계 프레임워크 (불확실성 인지 SFT + US-GRPO) 입니다.
US-GRPO 알고리즘: 동적 사용자 시뮬레이터와 복합 보상 시스템 (정확성, 유용성, 효율성 간의 균형) 을 통합한 강화 학습 방법으로, 추론 행동을 사용자 의도와 정렬시킵니다.
일반화: 이 접근법은 대화형 설정뿐만 아니라 누락된 전제가 포함된 비대화형 벤치마크에서도 견고성을 입증합니다.

실험 결과

수학적 추론 (Math-Chat), 코드 생성 (BigCodeBench-Chat), 문서 편집 (DocEdit-Chat) 에서 광범위한 실험이 수행되었습니다.

성능 향상: PIR 은 표준 지시 미세 조정 모델, 능동적 프롬프팅, 협업 프레임워크 (CollabLLM) 를 포함한 강력한 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
- 정확도: Math-Chat 에서 **32.70%**까지 향상되었습니다 (22.90% 에서 32.70% 로).
- 통과율: BigCodeBench-Chat 에서 22.90% 향상되었습니다.
- BLEU 점수: DocEdit-Chat 에서 41.36 향상되었습니다.
효율성: PIR 은 작업당 평균 약 2,000 토큰의 추론 계산을 줄였으며, 불필요한 상호작용 턴을 거의 50% 감소시켰습니다.
신뢰성: '누락된 전제'테스트 (MIP) 에서 PIR 은 매우 견고하게 유지된 반면, 기본 모델과 GPT-4o-mini 는 누락된 조건을 할루시네이션하여 심각한 성능 저하를 겪었습니다. PIR 은 먼저 명확화를 구함으로써'맹목적인 과도한 추론'을 성공적으로 피했습니다.
인간 평가: GSM8K 누락된 전제 데이터셋에 대한 이중 맹검 사용자 연구에서 사용자는 **52.45%**의 비율로 추론 중심 LLM 보다 PIR 을 선호했으며, 더 높은 정확도와 현저히 낮은 상호작용 지연 시간을 이유로 들었습니다.

의의 및 주장

본 논문은 PIR 이 내부 계산과 외부 검증을 연결함으로써 신뢰할 수 있고 인간 중심적인 지능 시스템의 새로운 기반을 확립한다고 주장합니다. LLM 을 능동적 탐구자로 전환함으로써 이 프레임워크는'맹목적인 자기 추론'이라는 치명적인 결함을 해결하여, 추론이 가정이 아닌 검증된 전제에 기반하도록 보장합니다. 저자들은 이 접근법이 모호한 상황에서 추론을 사용자 의도와 정렬시키는 원칙적인 방법을 제공하며, 높은 계산 효율성을 유지하면서 우수한 문제 해결 정확도를 달성한다고 주장합니다. 이 연구는 미래의 추론 모델이 실제 세계 사용자 상호작용의 고유한 불확실성을 효과적으로 처리하기 위해 능동적 명확화 메커니즘을 통합해야 함을 시사합니다.