Ontology-constrained multi-LLM scoring of hypothesis support in the predictive processing literature

기술 요약: 예측 처리(predictive processing) 문헌의 가설 지지에 대한 온톨로지 제약 기반 멀티 LLM 스코어링

문제 정의
예측 코딩 신경과학과 같은 학제 간 분야는 "파편화 문제"에 직면해 있다. 관련 문헌은 계산 이론, 전기생리학, 영상 의학, 행동 과학을 아우르며, 단일 논문 내에서도 수학적 형식주의와 철학적 기초를 복잡하게 엮어 놓는 경우가 많다. 이러한 이질성은 합성의 병목 현상을 초래한다. 전통적인 메타 분석은 통합된 비교 공간과 동일한 패러다임을 요구하는데, 이 도메인에서는 그러한 요소들이 결여된 경우가 많기 때문이다. 질적 검토(qualitative reviews)는 가치 있는 작업이지만, 노동 집약적이고 감사가 어려우며, 이질적인 데이터를 비교 가능한 양적 변수로 압축하는 데 한계가 있다. 또한, 예측 코딩 내의 용어(예: 예측, 에러, 놀라움)는 하위 분야마다 일관되지 않게 사용되어, 특정 가설에 대한 경험적 지지를 식별하는 것을 어렵게 만든다.

방법론
저자들은 온톨로지 제약 기반의 문헌 합성을 위해 설계된 로컬 멀티 LLM 파이프라인을 제안한다. 이 시스템은 다음 단계들을 통해 작동한다:

1. 온톨로지 프레임워크: 36개의 요인으로 구성된 정준 용어집(canonical glossary)이 세 가지 핵심 가설으로 그룹화되어 수동으로 정의되었다:

   • H1 (예측 억제, Predictive Suppression): 기대된 입력이 억제되거나 날카로워짐.
   • H2 (순방향 에러 전파, Feedforward Error Propagation): 예측되지 않은 불일치가 피질 계층을 통해 전방으로 전파됨.
   • H3 (보편성, Ubiquity): 예측 코딩이 보편적인 피질 알고리즘임.
     이 요인들은 다시 컨텍스트 범위(로컬 오드볼 vs. 글로벌 오드볼)에 의해 제약된다.

2. 데이터 수집 및 처리:

   • 코퍼스(Corpus): 1982년부터 2025년까지의 이론적, 신경생리학적, 영상 의학적, 모델링 연구 31편.
   • 멀티모달 추출: 텍스트는 결정론적으로 파싱되며, 그림(figures)은 로컬 시각-언어 모델(VLM, gemma-3-9b-it)을 사용하여 통계적 추세와 시각적 증거를 추출한 뒤, 이를 연구 텍스트와 인터리빙(interleave)한다.
   • 프롬프트 엔지니어링: 명령 계층(instruction layer)은 모델이 신경과학자처럼 행동하도록 유도하며, 각 요인을 -1(반박)에서 +1(동의) 사이의 척도로 점수화하고, 중립적인 결과는 0, 다루지 않은 요인은 null로 처리한다. 결정적으로, 모델은 점수를 부여할 때 특정 텍스트나 그림을 인용하여 감사 가능한 추론 로그(reasoning log)를 제공해야 한다.

3. 멀티 에이전트 의회(Multi-Agent Council): 10개의 독립적인 로컬 언어 모델(LLM)이 코퍼스를 점수화하기 위해 병렬로 실행된다. 이 "의회" 방식은 모델 간의 불일치를 측정하고, 개별 모델 특유의 사전 지식(priors)이나 사각지대의 영향을 줄인다.

4. 양적 지표:

   • 에이전트 일관성 (Agent Consistency, AC): 모델 간의 합의 정도를 평가하기 위해 평균 제곱 차이(MSD)를 측정한다.
   • 문헌 일관성 (Literature Consistency, LC): 연구 간의 MSD를 측정하여 중심적인 합의점이나 이상치를 식별한다.
   • 가설 공간 온도 ($T_H$): 연구 지점들의 최소 외접 타원체(minimum enclosing ellipsoid)의 부피를 지점의 수($n$)로 나눈 것으로 정의된 새로운 기하학적 지표이다 ($V_{env}/n$). 낮은 온도는 응집되고 합의된 문헌을 나타내며, 높은 온도는 분산과 이론적 불일치를 나타낸다.
   • 벡터 분석: 로컬 오드볼과 글로벌 오드볼 컨텍스트 사이의 연구 방향 전환을 계산한다.

주요 결과

• 컨텍스트 의존적 지지: 의회는 로컬 오드볼 컨텍스트에서 H1과 H2에 대해 높은 합의를 발견했다(평균 점수 ~0.46–0.51). 그러나 모든 가설에 대해 글로벌 오드볼 컨텍스트에서의 지지는 크게 감소했으며, 가장 두드러진 하락은 H2(순방향 에러 전파, -0.158 변화)에서 관찰되었다.
• 보편성 가설 (H3): 이 가설은 전체적으로 가장 낮은 합의도를 기록했다(평균 = 0.23). 이는 뇌 전반에 걸쳐 예측 코딩 메커니즘이 광범위하게 일반화된다는 문헌적 근거가 제한적임을 시사한다.
• 모델 일관성: 10개의 모델은 높은 내부 합의(평균 AC = 0.11)를 보였으며, 이는 무작위 셔플 베이스라인(0.67)보다 현저히 낮은 수치로, 파이프라인이 안정적이고 재현 가능한 점수를 생성함을 나타낸다.
• 문헌 기하학:
  • 로컬 컨텍스트: 연구들이 3D 가설 공간 내의 조밀한 영역에 클러스터링되어 강력한 합의를 나타냈다.
  • 글로벌 컨텍스트: 문헌이 더 분산되었다. 이상치를 제외하더라도 "가설 공간 온도"는 로컬 오드볼(0.00114)에 비해 글로벌 오드볼(0.00348)에서 유의미하게 높았다.
  • 이상치 탐지: Westerberg, Xiong, et al. (2025)의 연구가 특히 글로벌 오드볼 컨텍스트에서 기하학적 이상치로 식별되었으며, 지배적인 문헌 트렌드로부터 강한 발산을 보였다.
• 벡터 이동: 로컬에서 글로벌 컨텍스트로의 평균 벡터 이동은 (+1, +1, +1) 옥턴트(octant)로부터 멀어지는 방향을 가리켰으며, 이는 문헌이 글로벌(규칙 기반) 컨텍스트보다 로컬(감각) 컨텍스트에서 예측 코딩을 더 강력하게 지지한다는 것을 시각적으로 확인시켜 준다.

의의 및 주장
본 논문은 로컬 멀티 LLM 의회가 감사 가능한 불일치 측정값을 생성하여 이질적인 과학 문헌을 양적 증거 공간으로 매핑할 수 있다고 주장한다. 전문가 용어집으로 모델을 제약하고 증거 기반의 추론 로그를 요구함으로써, 이 프레임워크는 질적 문헌 검토를 과학적 지지의 "기하학적 성좌(geometric constellation)"로 변환한다.

저자들은 이 접근 방식이 수동 합성의 확장성 한계와 전통적인 메타 분석의 비교 공간 한계를 해결한다고 주장한다. 이 프레임워크는 다음과 같은 기능을 제공한다:

1. 양적 지도 제작 (Quantitative Cartography): 추상적인 과학적 논쟁을 측정 가능한 변수(예: 온도, 벡터)로 번역한다.
2. 이상치 식별: 확립된 가설에서 벗어나는 연구를 기하학적으로 식별한다.
3. 재현성: 중간 파일, 프롬프트, 추론 로그를 검사할 수 있는 투명한 로컬 실행 파이프라인을 제공하여, 클라우드 API의 "블랙박스" 문제를 피한다.

본 연구는 예측 코딩 문헌이 로컬 예측 억제에 대해서는 합의를 지지하지만, 광범위한 보편성 주장 및 글로벌 순방향 에러 전파에 대해서는 구조화된 불일치를 보인다고 결론짓는다. 이 프레임워크는 전문가의 해석을 대체하는 것이 아니라, 이질적인 데이터를 구조화된 공간으로 압축하여 이론적 변화와 경험적 이상치를 객적으로 추적할 수 있게 하는 도구로서 제시된다.