기술 요약: SPARK (지식 그래프에서 비대칭 보상을 통한 자기 플레이)

1. 문제 제기

자기 플레이 강화 학습 (RL) 은 수학 및 코딩과 같이 공식적으로 검증 가능한 구조를 가진 도메인에서 성공을 거두어 왔으며, 이러한 분야에서는 문제 생성과 보상 계산이 명시적인 규칙에 의존합니다. 그러나 이러한 패러다임을 과학 문헌으로 확장하는 것은 어렵습니다. 과학적 이해는 텍스트, 도표, 표, 수식과 같은 다중 모달 요소 간, 그리고 여러 문서 간에 걸친 관계적 추론을 필요로 합니다.

과학 문헌이 평면 텍스트로 직렬화되면 관계적 구조가 파괴됩니다. 이로 인해 평면 코퍼스 기반 자기 플레이에는 두 가지 근본적인 병목 현상이 발생합니다:

1. 문제 생성: 생성 가능한 질문의 공간이 표면적 사실 추출로 제한됩니다. 다중 모달 요소와 문서 간 개념이 어떻게 연결되는지에 대한 명시적 표현 없이는 자동으로 관계적 추론 질문을 생성하는 것이 구조적으로 불가능합니다.
2. 보상 계산: 명시적인 ground-truth 구조가 없으면 구조적으로 타당한 추론과 그럴듯하지만 잘못된 답변을 구분하기 어렵습니다. 답변이 비구조화된 텍스트에 흩어져 있을 때 보상 신호는 신뢰할 수 없게 됩니다.

2. 방법론: SPARK 프레임워크

SPARK 는 과학 문서로부터 통합된 **지식 그래프 (KG)**를 구축하고 이를 자기 플레이 루프의 구조적 척추로 활용함으로써 이러한 병목 현상을 해결합니다. 이 프레임워크는 두 단계로 구성됩니다:

1 단계: 자동 다중 모달 KG 구축

시스템은 수동 주석 없이 3 단계 파이프라인을 통해 KG($G = (V, E)$) 를 구축합니다:

• 1 단계 (구조적 그래프): 규칙 기반 파싱을 통해 섹션 - 단락 포함 관계, 도표 - 캡션 인접성과 같은 물리적 계층 구조를 복원합니다.
• 2 단계 (참조 그래프): 정규식 패턴 매칭을 사용하여 "그림 3 에서 보듯이"와 같은 저자의 의도된 교차 모달 연결을 추출하여 텍스트 주장과 시각적 요소를 연결합니다.
• 3 단계 (의미적 관계 그래프): 비전 - 언어 모델 (VLM) 을 사용하여 임베딩 유사성을 기반으로 콘텐츠 단위 간의 의미적 관계 (예: SUPPORTS, CONTRADICTS, DERIVES_FROM) 를 분류합니다.
• 문서 간 연합: 임베딩 유사성이 임계값을 초과하는 경우 SAME_CONCEPT 간선을 사용하여 서로 다른 논문 간의 개념 노드를 연결합니다. 이를 통해 여러 문서를 아우르는 멀티홉 추론 경로가 가능해집니다.

2 단계: KG 기반 자기 플레이 루프

단일 소형 비전 - 언어 모델 (sVLM, $\pi_\theta$로 표기) 은 정보 비대칭 하에서 두 가지 역할을 번갈아 수행합니다:

• 제안자 (Proposer): KG 에 접근할 수 있습니다. 그래프에서 추론 경로 $P$를 샘플링하여 관계적 추론 질문 $q$와 해당 경로의 종단 노드에서 유도된 정답 $a^*$를 생성합니다.
• 해결자 (Solver): KG 나 경로 $P$에 접근할 수 없습니다. 질문 $q$만 전달받으며 답변 $\hat{a}$를 생성해야 합니다.

보상 함수

학습 목표는 답변 매칭뿐만 아니라 그래프 구조에 기반한 보장을 제공하는 KG 검증 보상 신호 $R_G$를 활용하며, 이는 세 가지 구성 요소로 분해됩니다:

1. $R_{answer}$: 생성된 답변과 정답 간의 의미적 정확도를 측정합니다.
2. $R_{path}$ (경로 충실도): 질문 생성에 사용된 추론 경로가 KG 내 유효한 간선으로 구성되어 있는지 검증합니다. 이 항은 SPARK 고유의 것으로, 질문이 구조적으로 의미 있는 관계에 기반하도록 보장합니다.
3. $R_{consistency}$ (사실적 일관성): 답변의 수치 값과 핵심 개념이 추론 경로를 따라 KG 노드에 저장된 사실과 일치하는지 검증하여 환각을 억제합니다.

모델은 LoRA 를 사용한 정책 경사 최적화를 통해 업데이트되며, 고보상 및 저보상 답변 쌍이 학습을 안내합니다. 또한 KG 는 정제 과정을 거칩니다: 해결자가 암시적 경로에서 성공하면 누락된 간선이 추가되고, 잘못된 답변으로 이어지는 간선은 제거됩니다.

3. 주요 기여

1. KG 기반 자기 플레이 프레임워크: SPARK 는 고정된 KG 를 활용하여 과학 문헌에서 성공적인 자기 플레이를 위한 두 가지 조건을 동시에 충족합니다: 고품질 관계적 추론 문제의 자동 생성과 검증 가능한 보상 계산. SPARK 는 평면 코퍼스 방법이 감독할 수 없는 멀티홉 추론을 직접적으로 겨냥하는 경로 충실도 보상 ($R_{path}$) 을 도입합니다.
2. 다중 모달 3 단계 KG 구축 파이프라인: 원시 과학 문서 (텍스트, 도표, 표, 수식) 로부터 구조적, 참조적, 의미적 관계를 자동으로 추출하여 통합된 KG 를 구축하는 파이프라인입니다. 이는 논문 경계를 넘어 추론을 가능하게 하는 문서 간 연합 메커니즘을 포함합니다.
3. 문서 간 멀티홉 QA 벤치마크: 기존 벤치마크 (예: ScienceQA, DocVQA) 가 평가할 수 없는 문서 간 관계적 멀티홉 추론 능력을 측정하도록 설계된 50 편의 arXiv 논문에서 파생된 450 개의 질문으로 구성된 새로운 데이터셋입니다.

4. 실험 결과

저자들은 Qwen3-VL-4B 베이스 모델을 사용하여 SPARK 를 평가했으며, 베이스라인으로는 일반 모델, SFT 전용 모델, 그리고 KG 보상이 없는 평면 코퍼스 자기 플레이 베이스라인 (SPIN) 을 포함했습니다.

• 공개 벤치마크: SPARK 는 ScienceQA, DocVQA, ChartQA 에서 평면 코퍼스 자기 플레이 베이스라인을 일관되게 능가했습니다. 이러한 결과는 단순한 베이스 모델 용량이 아닌 KG 기반 훈련의 개선에 기인함을 시사합니다.
• 문서 간 멀티홉 QA: 자체 구축 데이터셋에서 SPARK 는 홉 수가 증가함에 따라 (1 홉에서 3 홉까지) 성능 격차가 벌어지는 것을 보여주었습니다.
  • 일반 모델은 홉 수가 증가함에 따라 성능이 급격히 하락했습니다.
  • SPARK 는 더 완만하게 감소하여, KG 구조 기반이 표면적 사실 추출을 넘어 관계적 멀티홉 추론을 특히 향상시킨다는 것을 나타냈습니다.
  • SPARK 는 Path F1에서 유의미한 개선을 보여, 모델이 의도된 KG 관계 경로를 탐색하는 법을 학습하는 반면 평면 코퍼스 베이스라인은 그렇지 않았음을 확인시켰습니다.
• Ablation 연구: KG 기반 보상 ($R_{path}$ 및 $R_{consistency}$) 을 제거하면 SFT/DPO 와 유사한 성능이 나타나, KG 보상 신호 없이는 자기 플레이의 구조적 이점이 실현되지 않음을 확인시켰습니다. $R_{path}$는 문서 간 정확도와 경로 충실도의 주요 동인으로 밝혀졌습니다.

5. 중요성 및 주장

이 논문은 SPARK 가 공식적으로 검증 가능한 구조가 부족한 도메인으로 자기 플레이를 확장하는 근본적인 장벽을 해결한다고 주장합니다. 문서를 평면 텍스트가 아닌 구조화된 관계 환경으로 취급함으로써 SPARK 는 평면 코퍼스 방법이 달성할 수 없는 형태의 자기 개선을 가능하게 합니다.

핵심 통찰은 자동 구축된 KG 가 자기 플레이에 필요한 두 가지 조건, 즉 관계적 문제 생성의 원천과 검증 가능한 보상의 기반을 복원한다는 점입니다. 제안자 (KG 인지) 와 해결자 (KG 무관) 간의 정보 비대칭을 통해 모델은 단순한 사실뿐만 아니라 코퍼스 전반에 걸쳐 개념, 방법론, 실험 결과를 연결하는 관계적 구조를 내면화합니다. 저자들은 이 접근법이 명시적 구조적 관계 지식을 포함하는 임의의 도메인 (예: 법률 또는 의료 문서) 에 적용 가능한 원칙을 통해 주석 없는 과학적 추론 모델 훈련을 위한 새로운 방향을 열어준다고 제시합니다.