기술 요약: StructSense

문제 제기

매년 수백만 편의 새로운 논문이 출판되는 과학 문헌의 급속한 확장은 연구자들이 진전을 추적하고 발견을 통합하는 능력을 압도하고 있습니다. 구조화된 정보 추출 (SIE) 은 과학적 지식을 큐레이션하는 데 필수적이지만, 기존 접근 방식은 다음과 같은 중대한 장애물에 직면해 있습니다:

• 규칙 기반 및 ML/DL 시스템은 언어적 변이성에 대한 취약성, 광범위한 도메인별 훈련 데이터 요구, 또는 수동 재설계 없이 다양한 문서 형식에서 일반화하지 못하는 등의 문제를 종종 겪습니다.
• **대형 언어 모델 (LLM)**은 유연한 퓨샷 (few-shot) 기능을 제공하지만, 도메인별 전문 용어, 다의어 (예: 신경과학의 "cortex"와 식물 생물학의 "cortex"), 그리고 엄격한 출력 스키마 준수의 어려움에 직면합니다. 이들은 종종 큐레이션된 도메인 온톨로지와 통합이 부족하며, 추출된 사실에 대한 투명한 출처 (provenance) 를 제공하지 못합니다.
• 현재의 격차에는 불충분한 출처 추적, FAIR(찾기 쉬움, 접근성, 상호 운용성, 재사용 가능성) 준수 부재, 그리고 파인튜닝 없이 도메인 모호성을 처리할 수 있는 메커니즘의 부족이 포함됩니다.

방법론: StructSense 프레임워크

저자들은 비구조화된 과학 텍스트에서 구조화된 정보를 추출하도록 설계된 모듈식, 작업 무관적, 오픈소스, 멀티에이전트 프레임워크인 StructSense를 소개합니다. 이는 온톨로지 기반의 상징적 지식, 에이전트형 자기 평가적 정제, 그리고 인간-루프 (HIL) 검증을 통합합니다.

아키텍처

이 시스템은 Crew.AI 프레임워크를 사용하여 네 가지 전문 에이전트를 조율합니다:

1. 추출 에이전트 (Extractor Agent): 비구조화된 텍스트 (예: GROBID 를 통해 파싱된 PDF) 에서 초기 추출을 수행합니다. LLM 만에 의존하는 시스템과 달리, 이는 BioBERT, NCBI-disease 모델과 같은 도메인별 모델과 SpaCy 와 같은 범용 모델, 그리고 LLM 을 가중치 앙상블로 활용합니다.
   • 검증: 할루시네이션을 완화하기 위해 다단계 검증 프로세스를 구현합니다. 추출된 개체는 소스 텍스트 범위와 문장 수준의 근거 (grounding) 에 대해 확인됩니다. 이러한 검사를 통과하지 못한 개체는 폐기됩니다.
   • 청킹: 긴 문서의 경우 텍스트를 세그먼트화하여 병렬로 처리한 후, 전역 범위 검증을 통해 병합합니다.
2. 정렬 에이전트 (Alignment Agent): 추출된 개체를 온톨로지나 지식 그래프 (예: UBERON, PO, NDFRT) 의 표준 개념에 매핑합니다. 이 에이전트는 컨텍스트에 기반하여 용어를 올바른 온톨로지 ID 에 연결함으로써 다의어를 해결하며, 구성 가능한 로컬 개념 매핑 서비스 또는 외부 BioPortal 을 활용합니다.
3. 심사 에이전트 (Judge Agent): 비평가 역할을 하여 정렬 에이전트의 출력을 평가합니다. 각 평가에 대해 신뢰도 점수 (0–1) 를 할당하고 해석 가능성과 자기 평가를 지원하기 위해 근거 주석을 제공합니다.
4. 피드백 에이전트 (Feedback Agent): 인간-루프 (HIL) 검증을 통합하여, 최종 생성 전에 도메인 전문가가 자연어로 출력을 수정하거나 지침을 제공할 수 있도록 합니다.

로컬 개념 매핑 서비스

Python(FastAPI) 으로 구현된 독립형 서비스로 온톨로지 개념 검색을 처리합니다. 매핑을 세 단계의 정보 검색 작업으로 간주합니다:

• 색인화: 온톨로지 개념의 풍부한 텍스트 표현 (레이블, 정의, 동의어, 부모 노드 연결) 을 구성하고 bge-small-en-v1.5를 사용하여 조밀한 임베딩과 BM25 와 같은 희소 색인을 생성합니다.
• 검색: 키워드 기반 (BM25), 벡터 기반, 그리고 하이브리드 검색 전략을 지원합니다.
• 재순위화: LLM 기반 재순위화기, 후기 상호작용 재순위화기 (jina-colbert-v2), 그리고 생물의학 키워드 재순위화기를 사용하여 후보를 재배열합니다. 구성을 통해 단일, 이중, 또는 앙상블 재순위화를 허용합니다.

출처 및 메모리

• 출처 (Provenance): 최우선 설계 원칙입니다. 시스템은 모든 추출에 대한 소스 모델, 개념 매핑 방법 (도구 대 LLM 파라메트릭 지식), 그리고 심사 점수에 대한 근거를 추적합니다.
• 메모리: 에이전트들은 파이프라인 전반에 걸쳐 연속성을 유지하기 위해 문맥, 개체, 그리고 장기 메모리를 공유합니다.

주요 기여

1. 작업 무관적 에이전트 프레임워크: 전문 에이전트들을 조율하여 스키마 추출, 리소스 추출, NER 등 다양한 추출 작업에서 파인튜닝 없이 작동하는 모듈식 시스템.
2. 온톨로지 기반 근거: LLM 의 "지식 격차"를 해결하고 모호성을 해결하며 의미적 정규화를 보장하기 위해 온톨로지를 통한 큐레이션된 도메인 지식 통합.
3. 강력한 검증 및 출처: 신뢰성과 재현성을 향상시키기 위한 명시적 소스 근거 (범위 및 문장 검증) 와 체계적인 출처 추적 (모델 소스, 매핑 기원, 심사 근거).
4. 인간-루프 통합: 특히 불확실성이 높은 예측의 경우 할루시네이션을 수정하고 출력을 정제하기 위한 전문가 검증을 위한 메커니즘.
5. 로컬 개념 매핑 서비스: 독점 API 에 대한 의존도를 줄이는 온톨로지 매핑을 위한 고성능 오픈소스 검색 및 재순위화 서비스.

실험 결과

이 프레임워크는 세 가지 기초 모델 (GPT-4o-mini, Gemini 3.1 Flash Lite, Qwen) 을 사용하여 세 가지 사례 연구에서 평가되었습니다:

• 사례 연구 I (신경과학 도메인):
  • 스키마 추출: 평가 도구를 기계 판독 가능 메타데이터 (ReproSchema) 로 변환하는 데 91–100% 정확도를 달성했습니다. GPT-4o-mini 는 완벽한 복합 점수를 달성했습니다.
  • 리소스 추출: 과학 논문에서 메타데이터 (모델, 데이터셋, 도구) 를 추출하는 데 86–93% 의 전체 재현율을 달성했습니다.
  • 신경과학 NER: 8,882 개의 추출된 개체에 걸쳐 58–75% 라벨 정확도를 달성했습니다. 성능은 개체 유형에 따라 달라졌으며, 잘 정의된 범주 (세포 유형: 99%, 종: 99%) 는 거의 완벽한 정확도를 보였으나 더 넓은 범주 (조직: 54%) 는 낮은 정확도를 보였습니다.
• 사례 연구 II (생물의학 NER 벤치마크):
  • NCBI Disease 및 S800 Species 데이터셋에서 평가되었습니다.
  • ≥90% 완화 재현율 (Qwen 으로 NCBI Disease 에서 97.0%) 및 62.5–85.8% 엄격 재현율을 달성했습니다.
  • 시스템은 금표준 주석 이상으로 1,000–3,600 개의 추가 개체를 추출했습니다 (예: 질병 중심 논문에서 유전자 식별), 더 넓은 추출 능력을 입증했습니다.
• 사례 연구 III (로컬 개념 매핑):
  • 엄격한 매칭 하에서 62–82% Hits@1을, 의미적 매칭 하에서 **68–86%**를 달성했습니다.
  • 단일 LLM 재순위화가 가장 잘 수행되었으나 (엄격 Hits@1 81.8%), 완전히 로컬 구성 (이중 후기 상호작용) 은 경쟁력 있는 성능 (Hits@5 86.8%) 을 유지하여 독점 API 없이도 실현 가능함을 시사했습니다.

중요성 및 주장

이 논문은 StructSense 가 출처 근거와 출처 투명성을 유지하면서 작업 및 도메인 전반에 걸쳐 일반화 가능성을 입증한다고 주장합니다. LLM 기반 추출과 온톨로지 기반 개념 매핑을 결합함으로써, 이 시스템은 비구조화된 콘텐츠를 FAIR 원칙을 지원하는 의미적으로 정규화된 구조화된 출력으로 변환합니다.

저자들은 StructSense 를 현재 IE 시스템의 한계에 대한 해결책으로 제시합니다:

• 파인튜닝 없이 작동함으로써 규칙 기반 시스템의 취약성과 ML/DL 접근법의 데이터 갈증을 극복합니다.
• 온톨로지 정렬과 에이전트형 정제를 통해 LLM 의 도메인 지식 부족과 스키마 준수 문제를 해결합니다.
• 명시적 출처 추적과 인간-루프 검증을 통해 신뢰성을 강화하여 과학적 발견에서의 신뢰할 수 있는 하류 사용에 더 적합한 출력을 만듭니다.

저자들은 제한된 로컬 온톨로지 커버리지로 인한 온톨로지 매핑의 occasional 교차 도메인 정렬 오류와, 신경과학 NER 평가에 대한 순수한 수동 전문가 주석 대신 휴리스틱 합의 사전에 대한 의존성 등 한계를 인정합니다. 향후 작업으로는 온톨로지 커버리지 확장, 전문가 주석 벤치마크 개발, 그리고 관계 추출로 프레임워크 확장이 제안됩니다.