기술 요약: 신경과학을 위한 지식 그래프 기반 전문가 수준 추론

문제 제기

현재의 대규모 언어 모델 (LLM) 은 방대하고 이질적인 웹 규모 코퍼스에서의 하향식 사전 훈련을 통해 수학 및 프로그래밍과 같은 구조화된 영역에서 전문가 수준의 성능을 달성합니다. 그러나 이러한 접근 방식은 신경과학과 같은 특수 과학 분야에서 필요한 심층적이고 공리적인 이해를 획득하는 데 종종 실패합니다. 하향식 훈련은 표면적인 패턴 매칭과 분포적 텍스트 통계에 의존하며, 모델이 복잡한 다중 홉 논리적 추론을 시도할 때 환각 현상과 "보상 해킹"(견고한 추론 대신 피상적인 상관관계에 의존) 을 초래하는 경우가 많습니다. 또한, 비구조화된 텍스트에서 지식 그래프 (KG) 를 추출하는 전통적인 방법은 확장성이 부족하며, 생성형 LLM 을 추출을 위해 프롬프트하는 것은 종종 존재론적 불일치를 초래하여 결과적으로 생성된 그래프가 고위험 과학적 추론에 적합하지 않게 만듭니다.

이 연구가 해결하는 핵심 과제는 대규모의 노이즈가 포함된 웹 코퍼스나 추론 흔적에 대한 비용이 많이 드는 인간-루프 주석을 사용하지 않고도 소형 언어 모델에서 전문가 수준의 구성적 추론을 유도하는 방법입니다.

방법론

저자들은 단일 권위 있는 교과서 (Kandel 외의《Principles of Neural Science》) 에 포함된 도메인 특화 원시 요소들로부터 직접 훈련 작업을 합성하는 엔드 투 엔드 방식의 하향식 신경 심볼릭 파이프라인을 제안합니다. 이 방법론은 **그래프 증류 (Graph Distillation)**와 **커리큘럼 학습 (Curriculum Learning)**이라는 두 가지 명확한 단계로 운영됩니다.

1. 그래프 증류 및 확장

• 시드 KG 추출: 저자들은 교과서 PDF 를 구조화된 텍스트 단위로 파싱합니다. 오픈 가중치 LLM(Qwen3-14B) 은 40 가지 신경과학 특화 관계 유형의 폐쇄형 어휘를 기반으로 유형화된 엔티티와 방향성 관계 삼중체를 추출합니다.
• 이중 LLM 검증: 사실적 충실도를 보장하고 환각을 제거하기 위해 추출된 모든 삼중체는 "이중 LLM 검증" 전략을 거칩니다. 두 개의 서로 다른 오픈 가중치 LLM(gpt-oss-20b 및 Mistral-Nemo-12B) 이 교과서 문맥에 대해 삼중체의 정확성을 독립적으로 검증합니다. 두 모델이 모두 합의에 도달할 때만 삼중체가 유지됩니다.
• GraphMERT 확장: 명시적으로 진술된 사실을 넘어 그래프를 확장하기 위해 저자들은 효율적인 인코더 전용 아키텍처인 GraphMERT 를 활용합니다. 시드 KG 토폴로지로 훈련된 GraphMERT 는 마스킹된 관계를 예측하여 암묵적이고 기계론적인 유도를 추론합니다. 이러한 새로운 관계는 동일한 이중 LLM 검증을 거쳐 9,187 개의 노드와 19,755 개의 삼중체로 구성된 밀집된 KG 를 생성합니다.

2. 커리큘럼 생성

검증된 KG 를 탐색하여 다중 선택형 질문 (MCQ) 과 사고의 연쇄 (Chain-of-Thought, CoT) 추론 흔적이 짝지어진 계층화된 커리큘럼을 생성합니다.

• 경로 가지치기: 조합적 폭발과 정보 가치가 없는 경로를 피하기 위해 저자들은 허브 노드 제거, 관계 필터링(약한 엣지의 가중치 감소), 그리고 전달적 중복 가지치기를 적용합니다.
• QA 합성: 파이프라인은 1 홉 (원자적 사실) 에서 5 홉 (복잡한 인과 체인) 에 이르는 항목을 생성합니다. 최종 커리큘럼에는 약 14,000 개의 1 홉 항목, 30,000 개의 2 홉 항목, 그리고 3 홉에서 5 홉 추론을 위한 평가 세트를 포함합니다.

3. 훈련 파이프라인

훈련은 14B 파라미터 모델 (Qwen3-14B) 에서 두 단계의 프로세스로 진행됩니다:

• 지도 미세 조정 (SFT): 모델은 1 홉 및 2 홉 QA 항목 (추론 흔적 포함) 으로 미세 조정되어 도메인 공리에 기반을 두고 구조화된 <thought>/<answer> 형식에 정렬됩니다.
• 경로 기반 보상을 통한 강화 학습 (RL): 그룹 상대 정책 최적화 (GRPO) 를 사용하여 모델은 2 홉 프롬프트로 추가 미세 조정됩니다. 결정적으로, 보상 신호는 인간의 선호도가 아닌 KG 토폴로지로부터 직접 파생됩니다.
  • 보상 함수: $R(O_i) = R_{correct}(O_i) + R_{path}(O_i)$.
  • $R_{correct}$: 최종 답변에 기반한 이진 보상 (+1.0/-1.0).
  • $R_{path}$: 모델이 생성한 추론 흔적과 정답 KG 경로 간의 중첩을 측정하는 밀집형 프로세스 보상입니다. 이 보상은 답변 정확도에 게이트되어 있습니다 (답변이 틀린 경우 보상은 0). 또한 토큰 반복에 대한 패널티를 포함합니다.
  • 이 접근 방식은 추론 궤적에 대한 인간 주석이 필요 없이 모델이 검증 가능한 단계별 추론 경로를 학습하도록 장려합니다.

주요 기여

1. 확장 가능한 KG 추출: 새로운 과학 도메인에 GraphMERT 증류 접근법을 적용하여 단일 교과서에서 매우 신뢰할 수 있는 신경과학 KG 를 추출하고 이중 LLM 합의 필터를 통해 검증했습니다.
2. 하향식 커리큘럼: 검증 가능한 KG 경로에 완전히 기반을 둔 포괄적인 QA 커리큘럼 (1 홉에서 5 홉) 을 구축하여 하향식 사전 훈련에서 벗어났습니다.
3. 경로 보상 RL: KG 에서 파생된 암묵적 보상을 사용하여 2 홉 경로로 미세 조정된 14B 파라미터 모델이 3 홉에서 5 홉 쿼리에 대한 구성적 추론을 일반화할 수 있으며, 특정 도메인에서 최첨단 범용 모델을 능가함을 입증했습니다.

실험 결과

이 연구는 3 홉에서 5 홉 질문으로 구성된 테스트 세트를 사용하여 14B 전문 모델을 기본 Qwen3-14B, SFT 전용 변형, 그리고 최첨단 독점 모델 (Gemini 3.1 Pro) 과 비교 평가했습니다.

• 성능: 최종 SFT+RL 모델은 3 홉에서 5 홉 작업 전반에서 평균 정확도 **89.5%**를 달성했습니다. 이는 기본 모델 (78.1%) 과 SFT 전용 모델 (87.3%) 보다 우수한 결과입니다.
• 최첨단 모델과의 비교: 14B 전문 모델은 모든 홉 깊이에서 Gemini 3.1 Pro(평균 84.8%) 를 일관되게 능가했습니다. 성능 격차는 복잡도가 증가함에 따라 확대되었습니다: 3 홉에서 +3.8%, 4 홉에서 +4.7%, 5 홉에서 +5.8%.
• 구성적 일반화: SFT+RL 모델은 홉당 1.35% 포인트의 정규화된 저하율 ($\delta$) 을 보였으며, 이는 기본 모델 (2.40) 대비 오류 누적 감소율이 44% 이고 Gemini 3.1 Pro(2.35) 대비 43% 감소한 수치입니다. 이는 모델이 공리적 단계를 효과적으로 체인화하여 RL 단계 (2 홉 프롬프트만 사용) 에서 명시적으로 훈련받지 않은 추론 깊이 (3-5 홉) 에서도 안정성을 유지함을 나타냅니다.
• 정성적 분석: 모델이 생성한 추론 흔적은 근본적인 KG 경로를 충실히 탐색하는 것으로 나타났으며, 보존된 기능적 능력에 기반한 방해 요인의 구조적 제거를 보여주었습니다. 이는 전문가 수준의 임상적 추론의 특징입니다.

의의 및 주장

이 논문은 좁은 학문 분야에서 최고의 인간 전문가를 능가하는 도메인 특화 초지능이 대규모 이질적 웹 규모 코퍼스에 의존하지 않고 하향식 신경 심볼릭 커리큘럼을 통해 소형 모델 (14B 파라미터) 에서 나타날 수 있음을 입증한다고 주장합니다.

저자들은 다음과 같이 주장합니다:

1. 규모보다 구조: 도메인 특화 KG 의 검증된 토폴로지에 대한 명시적 기반은 "구성적 다리" 역할을 하여, 소형 모델이 특수 추론 작업에서 수조 파라미터 규모의 범용 모델보다 우수한 성과를 내도록 합니다.
2. 결과보다 과정: KG 경로를 암묵적 보상 모델로 사용하는 것은 밀집되고 검증 가능한 과정 감독을 제공합니다. 이는 "보상 해킹"을 완화하고 모델이 피상적인 상관관계가 아닌 견고한 단계별 추론을 학습하도록 강제합니다.
3. 전문 시스템의 실현 가능성: 신경과학에서의 심층적이고 기계론적인 이해는 단일 권위 있는 교과서에 포함된 정보만을 사용하여 유도될 수 있으며, 이는 특수 과학적 추론을 위한 대규모 사전 훈련의 필요성에 도전합니다.

이 연구는 추론 시간 확장 기술이 일반 모델에게는 효과적이지만, 훈련 중에 내면화되지 않은 도메인 지식을 소환할 수는 없다고 결론지었습니다. 따라서 구조화되고 KG 기반인 커리큘럼은 소형 모델에서 전문가 수준의 추론을 달성하기 위한 충분 조건입니다.