💬 NLP

DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification

DecomposeRL 은 데이터 큐레이션 퍼널과 GRPO 기반 강화 학습을 활용하여 7B 규모의 소형 모델을 훈련시키고, 더 큰 베이스라인과 견줄 만한 성능을 달성하면서도 해석 가능한 추론 흔적을 생성하는 반지도식 추적 가능한 주장 검증 프레임워크입니다.

원저자: Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

게시일 2026-05-28

📖 5 분 읽기🧠 심층 분석

CC0 1.0

원저자: Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 DECOMPOSERL 논문에 대한 설명으로, 일상적인 비유를 곁들여 간단한 개념으로 분해하여 정리한 것입니다.

큰 문제: "블랙박스" 대 "느린 탐정"

*"1984 의 저자는 노벨상을 수상했다"*와 같은 터무니없는 소문을 사실 확인해 보려고 한다고 상상해 보세요.

현재 컴퓨터는 이 문제를 해결하기 위해 두 가지 방식을 사용합니다:

"블랙박스" 분류기: 이는 소문을 보고 즉시 "거짓!"이라고 외치는 초고속 보안 요원처럼 작동합니다. 빠르고 대체로 정확하지만, *"왜?"*라고 물으면 그저 어깨를 으쓱할 뿐입니다. 어떤 증거도 제시하지 않습니다. 의료나 정치와 같은 고위험 상황에서는 증거를 보지 않고는 판결을 신뢰할 수 없습니다.
"느린 탐정" (분해): 이는 소문을 "1984 를 쓴 사람은 누구인가?" -> *"그 사람이 노벨상을 수상했는가?"*와 같은 작은 질문들로 나누는 탐정처럼 작동합니다. 모든 단계를 기록하므로 증거를 확인할 수 있습니다. 하지만 이러한 탐정들은 종종 느리고, 실수를 저지르며, 인간 교사가 손을 잡아주지 않으면 새로운 사례로부터 배우는 데 어려움을 겪습니다.

DECOMPOSERL은 양쪽 세계의 최고를 추구하는 새로운 시스템입니다. 즉, 모든 답변에 대해 명확하고 검증 가능한 증거의 흔적을 남기는 빠르고 정확한 탐정입니다.

작동 원리: "현명한 질문자"

DECOMPOSERL 은 단순히 답을 추측하는 대신, 마스터 심문관이 되도록 훈련됩니다. 이 시스템의 임무는 주장을 직접 답하는 것이 아니라, 진실을 파악하기 위한 완벽한 질문 세트를 묻는 것입니다.

이를 20 가지 질문 게임으로 생각하되, 컴퓨터가 진리에 도달하는 가장 효율적인 경로를 찾기 위해 스스로와 대결하는 것과 같습니다.

1. "보상 시스템" (코치)

이 AI 에게 좋은 질문을 하도록 가르치기 위해 연구자들은 단순히 "잘했다"거나 "나쁘다"라고 말하지 않았습니다. 대신 다면적 보상 시스템(체크리스트를 가진 엄격한 코치와 같은) 을 구축했습니다. AI 는 다음 세 가지 특정 기준을 충족하는 질문을 할 때만 점수를 받습니다:

유용성 (게임 체인저): 이 질문을 제거하면 최종 답변이 변합니까?
- 비유: 배심원을 상상해 보세요. 만약 배심원이 "피고가 빨간 차를 소유하고 있었습니까?"라고 묻고 판결이 그대로라면, 그 질문은 쓸모없습니다. 하지만 "피고는 현장에 있었습니까?"라고 묻고 그로 인해 판결이 바뀐다면, 그 질문은 유용합니다. DECOMPOSERL 은 결과에 실제로 영향을 미치는 질문만 유지합니다.
정보성 (사실만) 규칙: 질문은 제공된 증거만을 사용하여 답변할 수 있어야 하며, 단일하고 명확한 사실이어야 합니다.
- 비유: "이 주장이 사실입니까?"라고 묻는 것은 문제를 반복할 뿐이므로 나쁜 질문입니다. 책의 길이가 중요하지 않다면 "이 책에는 몇 페이지가 있습니까?"라고 묻는 것도 나쁩니다. AI 는 "누가 이 책을 썼습니까?"와 같이 구체적이고 근거 있는 사실을 묻는 법을 배웁니다.
다양성 (반복 금지) 규칙: 질문들은 중복되어서는 안 됩니다.
- 비유: "누가 이 책을 썼습니까?"라고 묻고 이어 "이 책의 저자는 누구입니까?"라고 묻는다면 시간을 낭비한 것입니다. AI 는 퍼즐의 서로 다른 부분을 다루는 다양한 질문을 하도록 배웁니다.

2. "데이터 깔때기" (필터)

똑똑한 AI 를 훈련시키려면 보통 수백만 개의 예제가 필요하며, 이는 비용이 많이 들고 느립니다. 연구자들은 데이터 깔때기라는 영리한 트릭을 사용했습니다.

그들은 인터넷에서 수집한 155,000 개의 사실 확인 예제로 구성된 거대한 더미로 시작했습니다.
이를 일련의 필터 (커피 필터와 같은) 를 통과시켰습니다:
- 필터 1: 너무 짧거나 너무 긴 주장은 버립니다.
- 필터 2: 너무 쉬운 (단순한 AI 로도 해결 가능) 나 너무 복잡한 주장은 버립니다.
- 필터 3: 중복 항목을 제거합니다.
결과: 그들은 그 거대한 더미를 5,000 개의 주장이라는 작고 고품질의 "본질"로 정제했습니다.
비유: 대부분 타거나 밍밍한 155,000 개의 무작위 요리를 맛보며 요리하는 법을 배우려고 시도한다고 상상해 보세요. 대신 DECOMPOSERL 의 제작자들은 이를 5,000 개의 완벽한 셰프급 레시피로 필터링했습니다. AI 는 거대하고 messy 한 더미보다 작고 고품질의 세트에서 더 빠르고 잘 배웠습니다.

3. "반-지도 학습" 트릭 (교사 없이 학습)

일반적으로 AI 를 훈련시키려면 인간이 모든 답변을 채점 (Gold Labels) 해야 합니다. 하지만 인간은 느리고 비용이 많이 듭니다.

DECOMPOSERL 은 90% 의 답변이 채점되지 않았더라도 학습할 수 있는 특별한 모드를 가지고 있습니다.

어떻게? **자기 일관성 (Self-Consistency)**이라는 기법을 사용합니다. AI 는 동일한 주장에 대해 여러 개의 다른 "경로"(질문 세트) 를 생성합니다. 8 개의 경로 중 7 개가 최종 판결에 동의하면, AI 는 그 판결이 정확하다고 가정하고 이를 스스로를 가르치는 "가짜 라벨 (pseudo-label)"로 사용합니다.
비유: 정답지가 없는 시험을 치르는 학생을 상상해 보세요. 학생이 문제를 다섯 가지 다른 방식으로 풀고 매번 같은 답을 얻으면, 교사가 확인하지 않더라도 자신이 옳다는 확신을 갖게 됩니다.

결과: 작지만 강력한

연구자들은 상대적으로 작은 규모 (AI 세계 기준) 인 70 억 파라미터 모델을 훨씬 더 큰 모델 (320 억 파라미터) 과 심지어 GPT-4 와 같은 최상위 독점 시스템과 비교하여 테스트했습니다.

정확도: DECOMPOSERL 은 자신보다 4 배 더 큰 모델의 성능과 맞먹는 결과를 달성했습니다.
효율성: 이는 단 5,000 개의 주장으로 구성된 작고 선별된 데이터셋만을 사용하여 달성되었습니다.
반-지도 학습 성공: 10% 의 라벨링된 데이터(나머지 90% 는 자체 채점)로 훈련되었음에도 불구하고, 여전히 동급의 다른 모든 모델을 능가했습니다.

"추적" (문서 흔적)

DECOMPOSERL 의 가장 중요한 특징은 단순히 "참/거짓" 답변을 제공하는 것이 아니라 **추적 (Trace)**을 제공한다는 점입니다.

비유: 일반적인 AI 가 모자에서 토끼를 꺼내는 마술사라면 (결과만 보이고 트릭은 보이지 않음), DECOMPOSERL 은 빈 모자, 토끼, 그리고 토끼를 넣은 정확한 순간을 단계별로 보여주는 마술사입니다.
출력은 대화처럼 보입니다:
1. 질문: "1984 를 쓴 사람은 누구인가?" -> 답변: "조지 오웰."
2. 질문: "조지 오웰은 노벨상을 수상했는가?" -> 답변: "아니요, 문서에 따르면 그는 수상하지 않았습니다."
3. 판결: 반박됨 (주장은 거짓입니다).

이를 통해 인간은 작업을 감사 (audit) 할 수 있습니다. AI 가 실수를 저지르면 "추적"을 살펴보고 정확히 어떤 질문이나 답변이 오류로 이어졌는지 확인할 수 있습니다.

요약

DECOMPOSERL은 퍼즐을 풀기 위해 올바른 질문을 하도록 학습한 똑똑하고 효율적인 AI 사실 확인기입니다. 이는 작은 고품질 데이터셋에서 학습하기 위해 "필터"를 사용하고, 교사가 없어도 학습할 수 있도록 "자기 점검" 시스템을 사용합니다. 그 결과, 거대한 슈퍼컴퓨터만큼 정확하면서도 결론에 도달한 방법을 단계별로 명확하게 설명하는 시스템이 탄생했습니다.

기술 요약: DECOMPOSERL

문제 정의

자동화된 주장 검증은 정확성과 해석 가능성 사이의 근본적인 트레이드오프에 직면해 있습니다. 기존 접근법은 일반적으로 두 가지 범주로 나뉩니다:

엔드투엔드 분류기: 벤치마크에서 높은 정확도를 달성하지만 "블랙박스"로 작동하여 결론에 도달한 방식을 검사 가능한 흔적으로 제공하지 않고 최종 판정만 출력합니다. 이러한 불투명성은 사용자가 주장의 어느 부분이 검증되었는지 그리고 그 이유를 파악해야 하는 바이오의학적 트리아지, 정치적 사실 검증, 과학적 동료 검토와 같은 고위험 분야에서 문제가 됩니다.
분해 기반 방법: 이러한 방법들은 주장을 원자적 하위 질문으로 분해하여 검사 가능한 흔적을 생성합니다. 그러나 종종 엔드투엔드 분류기보다 성능이 뒤처집니다. 기존 분해 방법들은 금표 분해에 대한 미세 조정을 통한 비싼 모방 학습이나 취약한 프롬프팅에 의존하며, 검증 작업에 대한 분해의 실제 적합성을 측정하는 학습 신호가 부족합니다.

방법론

저자들은 주장들을 유용하고 정보량이 많으며 다양한 질문으로 분해하는 정책을 학습시켜 높은 정확도와 감사 가능한 흔적을 모두 산출하는 강화 학습 (RL) 프레임워크인 DECOMPOSERL을 제안합니다.

1. 데이터 선별 깔때기

RL 정책을 대규모 노이즈가 많은 코퍼스에서 학습시키는 데 드는 prohibitive 한 비용을 해결하기 위해, 저자들은 다단계 데이터 선별 깔때기를 설계했습니다. 14 개의 이질적인 코퍼스에 걸쳐 있는 약 155,000 개의 주장에서 시작하여, 그들은 원본 데이터의 약 4% 인 5,464 개의 주장으로 구성된 컴팩트하고 학습 신호가 밀집된 부분집합을 정제했습니다. 필터링 단계는 다음과 같습니다:

규칙 기반 필터링: 증거 길이가 부족하거나, 사소한 어휘적 중첩이 있거나, 두 개 미만의 고유 명사를 포함하는 주장을 제거합니다.
난이도 기반 필터링: MiniCheck-7B 검증기를 사용하여 모델이 불확실한 경우 (신뢰도 $0.3 \le p \le 0.8$ ) 에만 주장을 유지하여, 학습 데이터가 비사실적인 추론 도전을 포함하도록 보장합니다.
중복 제거 및 오염 제거: MinHash 및 코사인 유사도를 통해 근접 중복을 제거하여 데이터 누출을 방지하고 다양성을 보장합니다.
실버 분해: 남은 주장들에 대해 GPT-5-mini 를 사용하여 "실버"(가짜 라벨이 붙은) 분해를 생성합니다.
다양성 선택: 임베딩 공간 커버리지를 최대화하는 최종 부분집합을 선택하기 위해 Facility-Location 목적 함수 (서모듈러 최대화) 를 사용하여 주장 유형의 전체 분포를 학습 세트가 대표하도록 보장합니다.
긴 증거 증강: 평가 중 분포 변화를 방지하기 위해 긴 증거 컨텍스트를 가진 주장을 추가합니다.

2. 강화 학습 프레임워크

DECOMPOSERL 은 주장 검증을 반복적인 질문 - 답변 (QA) 분해 문제로 프레임합니다. Qwen2.5-7B-Instruct에 기반한 정책 ( $\pi_\theta$ ) 은 초기 분석, $n$ 개의 질문 - 답변 사이클, 그리고 최종 판정 ($SUPPORTED $또는$ REFUTED$) 으로 구성된 구조화된 흔적을 생성합니다.

이 정책은 새로운 다면적 보상 앙상블을 사용한 **그룹 상대적 정책 최적화 (GRPO)**로 학습됩니다. 단일 결과 보상에 의존하는 이전 연구와 달리, DECOMPOSERL 은 일곱 가지 상호 보완적인 신호를 최적화합니다:

형식 ( $R_{fmt}$ ): XML 기반 구조화된 출력 스키마 준수를 보장합니다.
검증 ( $R_{ver}$ ): 정책이 금표 판정에 고정되도록 합니다 (라벨이 있는 데이터에만 해당).
질문 수 ( $R_{qc}$ ): 최적의 하위 질문 수에서 벗어난 경우를 패널티합니다.
다양성 ( $R_{div}$ ): 임베딩에 대한 최대 주변 관련성 (MMR) 을 사용하여 중복 질문을 패널티합니다.
커버리지 ( $R_{cov}$ ): LLM-as-a-judge 가 답변 집합만으로도 올바른 판정을 재구성할 수 있는지 평가합니다.
Leave-One-Out 을 통한 필요성 ( $R_{nec}$ ): 판정을 변경하는지 여부를 판사가 결정하는 핵심 구성 요소입니다. 특정 질문을 제거했을 때 판정이 바뀌는 경우 (필요한 질문) 는 높은 보상을 받고, 판정을 오도하는 질문 (해로운 질문) 은 부정적인 보상을 받습니다.
결합 곱셈 품질 ( $R_{joint}$ ): 답변 가능성, 원자성 (단일 초점, 접속사 없음), 그리고 정확성을 결합한 곱셈 보상입니다. 이는 어떤 차원에서의 단일 실패라도 해당 질문의 점수를 0 으로 만들도록 보장합니다.

3. 준지도 학습

금표 라벨이 있는 데이터의 부족을 해결하기 위해, DECOMPOSERL 은 준지도 학습을 지원합니다. 라벨이 없는 주장의 경우:

커버리지는 자기 일관성을 통해 근사됩니다: $G$ 개의 롤아웃에 대한 다수결이 가짜 라벨로 사용됩니다.
필요성은 금표가 아닌 정책이 재구성한 판정에 상대적으로 계산됩니다.
검증 보상은 라벨이 없는 데이터에 대해서는 제외되며, 다른 보상들은 라벨과 무관하게 유지됩니다.

주요 기여

다면적 보상 앙상블: 결정적 규칙, 임베딩 기반 지표, 그리고 LLM-as-a-judge 평가를 결합하여 필요성, 커버리지, 다양성, 원자성 등 여러 차원에 걸쳐 분해의 품질을 포착하는 새로운 보상 시스템.
준지도 학습 능력: 프롬프트 내 합의를 활용하여 라벨이 없는 주장으로부터 학습할 수 있게 하는 자기 일관성 메커니즘으로, 라벨링 비용이 높은 도메인에서 접근법을 실행 가능하게 만듦.
효율적인 데이터 선별: 학습 데이터 요구량을 약 96% (155,000 개에서 약 5,500 개 주장으로) 줄이면서 신호 밀도를 향상시키는 정제 깔때기로, 제한된 컴퓨팅 자원으로 효과적인 RL 학습을 가능하게 함.
성능과 확장성: 이 프레임워크로 학습된 7B 파라미터 모델이 훨씬 더 큰 모델 (32B) 과 독점적 최첨단 모델 (GPT-4.1-mini) 의 성능을 달성하거나 능가하면서도 검사 가능한 흔적을 제공함을 입증.

실험 결과

저자들은 바이오의학적, 정치적, 과학적 데이터셋을 포함하는 11 개의 주장 검증 벤치마크(9 개 인도메인, 2 개 아웃오브도메인) 에서 DECOMPOSERL 을 평가했습니다.

정확도: DECOMPOSERL-7B모델은 인도메인에서 **86.3%**의 균형 잡힌 정확도를, 아웃오브도메인에서 **69.8%**의 정확도를 달성했습니다.
베이스라인과의 비교:
- 모든 분해 기반 베이스라인 (예: Decomposed Prompting, HiSS, ClaimDecomp) 을 유의미한 마진으로 능가했습니다 (가장 강력한 베이스라인 대비 인도메인 +4.4%, 아웃오브도메인 +2.8%).
- MiniCheck-7B 와 같은 엔드투엔드 분류기를 능가했습니다.
- 32B 베이스라인보다 4 배 작고 최첨단 모델보다 한 자릿수 작은 모델임에도 불구하고, 인도메인 작업에서 32B 파라미터 모델과 GPT-4.1-mini 최첨단 모델의 성능과 일치했습니다.
준지도 학습 성능: 라벨이 있는 데이터 10%(s=0.1) 로만 학습했을 때, DECOMPOSERL-7B 는 인도메인 정확도 **84.6%**와 아웃오브도메인 정확도 **69.7%**를 유지하여 모든 7B 베이스라인을 여전히 능가했습니다.
어블레이션 연구: 필요성 보상을 제거하면 아웃오브도메인 성능이 가장 크게 감소 (-4.8%) 하여 일반화에서의 핵심 역할을 강조했습니다. 커버리지와 다양성을 제거하는 것도 견고성에 상당한 영향을 미쳐, 아웃오브도메인 성능을 위해서는 전체 앙상블이 필요함을 확인시켰습니다.

의의 및 주장

이 논문은 DECOMPOSERL 이 주장 검증에서 정확성과 해석 가능성 사이의 간극을 성공적으로 메웠다고 주장합니다. 다면적 보상 앙상블에 의해 안내되는 RL 문제로 분해를 프레임함으로써, 저자들은 다음을 입증합니다:

추적 가능성은 정확성의 대가를 치를 필요가 없음: 모델은 불투명한 분류기에 비해 성능을 희생하지 않으면서 감사 가능한 단계별 검증 흔적을 생성합니다.
파라미터 효율성: 학습 신호 (보상 설계 및 데이터 선별) 를 최적화한다면 모델 크기 확장에만 의존하지 않고도 작은 모델 (7B) 로 높은 성능을 달성할 수 있습니다.
저자원 환경으로의 확장성: 준지도 학습 접근법은 자기 일관성을 사용하여 학습을 부트스트랩함으로써, 금표 주석이 희소하거나 비싼 새로운 도메인에 시스템이 적응할 수 있게 합니다.

저자들은 이 작업을 자동화된 사실 검증의 "추적 가능성 간극"에 대한 해결책으로 위치시키며, 사용자가 추론 과정을 검사해야 하는 고위험 애플리케이션에 적합하고 정확하면서도 투명한 방법을 제시합니다.