기술 요약: 신뢰할 수 있는 구조화된 LLM 생성을 위한 상호작용적 비판 - 수정 훈련

문제 제기

대규모 언어 모델 (LLM) 은 개방형 생성에서 강력한 능력을 발휘하지만, 양식 작성, 규정 준수 확인, 유지보수 보고서 작성과 같은 복잡하고 구조화된 의사결정 워크플로우에서는 취약합니다. 이러한 도메인에서 출력물은 지역적으로 정확하고, 전역적으로 일관되며, 특정 규칙에 대해 감사 가능해야 합니다. 기존 개선 방법은 종종 휴리스틱 논쟁, 자기 플레이, 또는 LLM 생성 감독에 의존하는데, 이는 "2 차 보증 문제"를 야기합니다: 검증자 자체도 평가가 필요하다는 문제입니다. 오류를 발견하도록 보상받은 검증자는 설득력 있지만 근거가 약한 반박을 생성할 수 있으며, 생성기는 정확한 출력을 과도하게 수정하거나 유용한 피드백을 무시할 수 있습니다. 또한, 현재 다중 에이전트 접근법은 논쟁을 프롬핑 메커니즘으로 취급하는 경향이 있어 역할별 훈련 패러다임이 아니며, 구조화된 보증 증거로 에이전트를 공동 훈련하기 위한 체계적인 프레임워크가 부족합니다.

방법론: DPA-GRPO

저자들은 DPA-GRPO(이중 짝지어진 행동 그룹 상대 정책 최적화) 를 제안합니다. 이는 생성기와 검증자 간의 2 인 마르코프 게임을 훈련하기 위한 게임 이론적 프레임워크입니다.

생성기 - 검증자 게임

상호작용은 생성기가 구조화된 의사결정 단위 (예: 세금 양식 항목) 에 대한 출력을 제안하는 유한 시간 게임으로 모델링됩니다. 검증자는 제안을 관찰하고 다음 두 가지 행동 중 하나를 선택합니다:

1. NS(No-SAC): 침묵하며 제안을 수용합니다.
2. SAC(안전 보증 사례): 제안을 도전하기 위해 주장, 논증, 증거를 포함하는 구조화된 개입을 제기합니다 (안전 사례 방법론 준수).

SAC 가 제기되면 생성기는 다음 중 하나를 선택해야 합니다:

1. KEEP: 원래 제안을 제출합니다.
2. REVISE: 새로운 후보 수정안을 제출합니다.

훈련 메커니즘

DPA-GRPO 는 각 의사결정 단위에서 짝지어진 반사실 행동 그룹을 구성하여 역할별 보상과 KL 정규화 그룹 상대 정책 최적화 (GRPO) 를 사용하여 두 에이전트를 동시에 훈련합니다:

• 검증자 쌍: {SAC, NS}. 검증자는 잘못된 제안에 SAC 를 제기하고 올바른 제안에는 침묵할 때 보상을 받습니다.
• 생성기 쌍: {KEEP, REVISE}(SAC 가 제기된 조건 하에). 생성기는 올바른 최종 출력으로 이어지는 행동 (원래 제안 유지 또는 수정) 을 선택할 때 보상을 받습니다.

훈련은 정확성을 판단하기 위해 보상 오라클을 활용합니다 (초기 제안에 대한 $S_x$, 수정안에 대한 $S_z$). 목표는 불안정한 정책 이동을 방지하기 위해 고정된 참조 정책에 대한 KL-발산 항으로 정규화됩니다. 각 역할에 대한 손실 함수는 짝지어진 행동의 그룹 정규화 이득에서 도출된 대비적 선호도 유사 목적 함수입니다.

이론적 분석

이 논문은 국소 내시 균형을 위한 조건을 확립하기 위해 게임 역학을 분석합니다.

• 비정규화 게임: 저자들은 에이전트가 엄격히 낮은 보상을 받는 행동 (예: 검증자가 오류를 놓치거나 생성기가 해로운 수정안을 만드는 것) 에 양의 확률을 할당하면, 수익이 있는 일방적 편차가 존재함을 보여줍니다.
• KL-정규화 게임: 표준 확률적 근사 가정 하에서 DPA-GRPO 업데이트는 게임의 상미분방정식 (ODE) 을 추적합니다. 이 ODE 의 고립된 점근적으로 안정적 극한점은 에이전트가 역할별 보상에 대해 지역적으로 최적인 정지점에 해당하며, 보상 간격에 의존하는 행동 확률을 통해 비최적 행동을 효과적으로 억제합니다.

주요 기여

1. 형식화: 저자들은 검증자 개입이 주장, 논증, 증거를 포함하는 구조화된 안전 보증 사례 (SAC) 로 표현되는 2 인 마르코프 게임으로 구조화된 LLM 검증을 형식화합니다.
2. 알고리즘: 그들은 SAC/No-SAC 및 Keep/Revise 비교를 구성하는 이중 짝지어진 행동 훈련 방법인 DPA-GRPO 를 제안합니다. 이를 통해 역할 조건부 정책을 사용하여 검증자의 개입 정책과 생성기의 수정 정책을 병렬로 훈련할 수 있습니다.
3. 이론적 프레임워크: 논문은 훈련 신호를 국소 내시 조건 및 확률적 근사 역학과 연결하는 해석 가능한 사례 분류 (8 가지 사례) 를 개발하여 상호작용 행동을 진단할 수 있는 원칙적인 방법을 제공합니다.
4. 실증 평가: 이 방법은 구조화된 세금 양식 완료 벤치마크인 TaxCalcBench TY24에서 평가되었습니다.

실험 결과

실험은 Qwen3-4B 및 Qwen3-8B 백본을 사용하여 수행되었으며, DPA-GRPO 를 제로샷 생성 및 단일 에이전트 생성기 전용 RL 베이스라인 (GRPO, DAPO, GSPO) 과 비교했습니다.

• 정확도: DPA-GRPO 는 두 모델 크기 모두에서 테스트 세트 정확도가 가장 높았습니다 (Qwen3-4B 의 경우 0.53, Qwen3-8B 의 경우 0.57). 제로샷 베이스라인 및 생성기 전용 RL 방법보다 우수한 성능을 보였습니다.
• 사례 분류 역학: 의사결정 단위 전이에 대한 분석은 구체적인 행동 개선을 드러냈습니다:
  • Case 1(정확/침묵) 증가: 개입 없이 수용된 정확한 제안의 빈도가 크게 증가했습니다 (예: Qwen3-4B 의 경우 27.4% 에서 42.4% 로 증가). 이는 생성기가 더 높은 품질의 초기 출력을 생성하도록 학습했음을 나타냅니다.
  • Case 4(놓친 오류) 감소: 검증자가 놓친 잘못된 제안의 비율이 크게 감소했습니다 (예: 55.3% 에서 37.2% 로 감소). 이는 검증자의 민감도 향상을 보여줍니다.
  • Case 6a(보정된 거부) 개선: 생성기는 SAC 가 제기되었을 때 나쁜 수정안을 거부하는 법을 학습했습니다 (9.3% 에서 16.6% 로 증가). 이는 생성기가 검증자의 도전에 맹목적으로 따르지 않고 Keep/Revise 결정을 보정함을 보여줍니다.

중요성 및 주장

이 논문은 DPA-GRPO 가 구조화된 LLM 워크플로우에서 안전 사례 기반 보증을 위한 원칙적인 해결책을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 휴리스틱 논쟁을 넘어선 접근: 프롬핑이나 테스트 시간 확장뿐만 아니라 구조화되고 검증 가능한 상호작용을 통해 에이전트가 공동 적응되는 훈련 패러다임을 확립합니다.
• 해석 가능성: SAC(주장 - 논증 - 증거) 를 사용하여 출력이 도전되거나 수용된 이유에 대한 감사 가능한 기록을 제공함으로써 반박을 해석 가능하게 만듭니다.
• 이중 개선: 이 프레임워크는 생성기 측 강화 학습에만 의존하는 것이 아니라, 생성기의 정확한 초기 제안 생성 능력과 검증자의 오류 감지 및 수정 안내 능력을 모두 향상시킵니다.
• 이론적 기반: 실제 훈련 신호를 게임 이론적 균형 개념과 연결하여 상호작용이 원하는 집단 행동으로 수렴하는 이유에 대한 이론적 근거를 제공합니다.

저자들은 이 방법이 두 에이전트를 훈련함으로써 더 높은 계산 비용을 발생하며, 현재 벤치마크에서는 결정론적 정답 레이블에 의존한다는 한계를 인정합니다. 또한 SAC 가 감사 가능성을 향상시키지만, 전문가 검토 없이는 고위험 환경에서 정확성이나 안전성에 대한 공식적인 보장을 제공하지는 않는다고 강조합니다.