기술 요약: Ask, Condition or Abstain: 누락된 전제에 대한 강화 학습

1. 문제 정의

현재의 추론 모델은 주로 단일하고 검증 가능한 최종 답변이 존재하는 완전하게 명시된 문제들을 통해 강화 학습(RL)을 통해 최적화됩니다. 그러나 실제 사용자의 질의는 종종 중요한 전제를 누락하여 문제를 미결정 상태로 만듭니다. 이러한 시나리오에서, 확정적인 답변만을 위해 학습된 모델들은 문제가 답을 결정할 수 없는 상황임에도 불구하고 자신만만한 해결책을 환각(hallucinate)하는 경향이 있습니다.

본 논문은 누락된 전제가 있는 문제에 대한 이상적인 응답 공간이 단순한 거절("모릅니다")을 넘어선다고 주장합니다. 견고한 모델은 다음의 세 가지 뚜렷한 행동을 수행할 수 있어야 합니다:

1. Ask (질문하기): 누락된 전제를 적극적으로 요청함.
2. Condition (조건화하기): 알 수 없는 변수에 의존하는 조건부 답변을 구성함.
3. Abstain (기권하기): 정보가 담긴 조건부 응답이 불가능할 때 답변을 거부함.

검색(retrieval)이나 추론 시점의 스크리닝(inference-time screening)과 같은 기존 방식은 기본 모델이 본질적으로 미결정된 프롬프트를 인식하도록 가르치지 못합니다. 또한, 단순한 프로프팅(예: LM Introspection)은 이러한 특정 응답 정책을 신뢰성 있게 유도하기에 불충분합니다.

2. 방법론: ACA-RL

저자들은 이러한 응답 정책을 학습하기 위해 설계된 데이터 증강 RL 프레임워크인 **Ask-Condition-Abstain Reinforcement Learning (ACA-RL)**을 제안합니다.

2.1 데이터 구축: 추론 그래프 가이드 합성 (Reasoning-Graph-Guided Synthesis)

누락된 전제가 포함된 인스턴스에 대해 학습하기 위해, 저자들은 잘 정의된 문제들로부터 120,000개의 훈련 예시를 합성하는 파이프라인을 개발했습니다. 이 과정은 "누락된" 정보가 무작위 노이즈가 아니라 국소적인 논리적 공백임을 보장합니다. 파이프라인은 다음과 같습니다:

1. 해체 및 그래프 생성: 잘 정의된 문제를 조건과 정답 사이의 의존성 및 추론 경로를 나타내는 유향 비순환 그래프(DAG)로 파싱합니다.
2. 외과적 조건 섭동 (Surgical Condition Perturbation): 솔루션 경로 상의 핵심 조건을 식별하고, 6가지 섭동 전략(예: 수치 값 제거, 관계의 비수량화, 또는 엔티티 교란) 중 하나를 적용하여 미지정 변형($s'$)을 생성합니다.
3. 재작성 및 재검증: 문제를 유창한 문장형 문제로 재구성하고, 공백이 식별 불가능하거나 문제가 여전히 해결 가능한 샘플들을 필터링합니다.

2.2 구조화된 보상 함수

정답만을 보상하는 표준 답변 중심 RL과 달리, ACA-RL은 다섯 가지 범주의 행동 분류에 기반한 구조화된 보상 함수($R_{ACA}$)를 사용합니다:

• Silent Hallucination (SH, 침묵하는 환각): 인지 없이 답변을 지어냄 (보상: -1.0).
• Explicit Assumption (EA, 명시적 가정): 확정적인 답변을 주되 가정을 언급함 (보상: -0.3).
• Abstention (Abs, 기권): 문제가 미결정되었음을 올바르게 식별하고 거절함 (보상: 0.3).
• Conditional Formulation (Cond, 조건부 구성): 누락된 변수에 의존하는 공식 형태로 답변을 표현함 (보상: 0.6).
• Active Elicitation (Elicit, 능동적 유도): 누락된 전제를 적극적으로 질문함 (보상: 1.0).

목표는 이러한 행동들의 기대값을 최대화하여, 정책을 단순한 환각이나 일반적인 거절에서 더 정보가 풍부한 상호작용으로 전환하는 것입니다.

2.3 평가: Missing-Premise Benchmark (MPB)

저자들은 수학, 논리, 실생활 문장 문제를 아우르는 274개의 인스턴스로 구성된 인간 검증 데이터셋인 **Missing-Premise Benchmark (MPB)**를 도입합니다. MPB는 정확도나 거절률뿐만 아니라, 다섯 가지 범주적 보상의 가중 평균인 "Behavior Score"를 보고함으로써 모델을 평가합니다.

3. 주요 결과

Qwen3 (8B, 14B) 및 Llama3.1-8B 모델을 대상으로 ACA-RL을 Cold-start SFT, Vanilla PPO (답변 중심), IDK-RL (거절 학습)과 비교하는 실험을 수행했습니다.

• 누락된 전제에 대한 강건성: ACA-RL은 MPB에서 베이스라인들을 크게 앞섭니다. Qwen3-8B 기준으로, ACA-RL은 51.73의 Behavior Score를 달성한 반면, Vanilla PPO는 8.66, IDK-RL은 48.72를 기록했습니다. 이는 ACA-RL이 단순히 거절하거나 환각하는 대신, 질문하거나 조건을 제시하는 법을 성공적으로 학습했음을 나타냅니다.
• 일반 추론 능력 보존: 결정적으로, ACA-RL은 표준적인 잘 정의된 벤치마크(GSM8K, MATH-500, AIME'24)에서 경쟁력 있는 성능을 유지합니다. 예를 들어, Qwen3-8B에서 GSM8K 성능의 Vanilla PPO 대비 하락 폭은 ACA-RL(-2.35)이 IDK-RL(-5.83)보다 작았습니다.
• 행동 변화: 분석 결과, IDK-RL은 거절률을 최대화하는 반면, ACA-RL은 분포를 Conditional Formulation과 Active Elicitation 쪽으로 이동시킵니다. "Ask"와 "Condition" 행동은 "Abstain"보다 더 점진적으로 나타나는데, 이는 더 복적인 정책 학습 과정을 시사합니다.
• 데이터 효율성: 절제 연구(Ablation studies)를 통해 추론 그래프 가이드 합성이 이 작업에 있어 다른 데이터 소스(예: Treecut 또는 SUM 유도 데이터)보다 우월함을 확인했습니다. 훈련 세트에 누락된 전제 데이터를 30% 혼합했을 때 강건성과 일반 추론 능력 사이의 최적의 균형을 제공했습니다.

4. 의의 및 주장

본 논문은 추론 모델의 진보를 재정의해야 한다고 주장합니다: 성공은 단지 완전히 명시된 과업에 대한 정확도로만 측정되는 것이 아니라, 과업이 미결정 상태임을 인식하고 건설적으로 대응하는 능력으로도 측정되어야 합니다.

• 거절을 넘어: 본 연구는 모델이 단순히 "모른다"고 말하는 것 이상을 할 수 있음을 보여줍니다. 모델은 조건부 답변을 제공하거나 누락된 정보를 요청할 수 있으며, 이는 튜터링 시스템이나 에이전트 워크플로우에서 더욱 유용합니다.
• 평가 격차: MPB를 도입함으로써, 저자들은 모델이 불확실성과 미결정된 입력을 어떻게 처리하는지를 측정하는 데 실패하는 현재의 NLP 평가 체계의 간극을 강조합니다.
• 한계점: 저자들은 본 훈련이 단일 턴 응답에 집중하고 있음을 겸허히 밝힙니다. 이 방법은 현재 다회차(multi-turn) 명확화 정책이나, 누락된 정보를 실제로 획득하기 위한 도구 사용(retrieval)을 훈련하지 않으므로, 공백을 식별하는 것과 전체 에이전트 워크플로우 내에서 이를 해결하는 것 사이에는 간극이 존재합니다. 또한, 합성 데이터는 통제되어 있으나 유기적인 사용자 질의의 의미론적 모호성을 완전히 포착하지 못할 수 있습니다.

결론적으로, ACA-RL은 질문, 조건화, 또는 기권을 통해 불확실성을 탐색하도록 모델을 훈련하는 구체적인 프레임워크를 제공하며, 새로운 벤치마크와 확장 가능한 데이터 합성 파이프라인을 통해 뒷받침됩니다.