기술 요약: Compass: 전문가가 안내하는 LLM 에이전트를 통한 글로벌 해양 납 데이터 통합 항해

문제 정의

해양 납 (Pb) 과 그 동위 원소는 해양 순환과 인위적 오염 역사를 이해하는 데 중요한 추적자입니다. 그러나 고품질의 현장 관측 데이터는 비용이 많이 들고 희소하며, 대부분의 역사적 데이터는 학술 논문의 비구조화된 텍스트, 표, 그림 속에 묻혀 있습니다. 이로 인해 중요한 데이터셋이 글로벌 규모 통합에 접근할 수 없는 "데이터 실 (data silo)" 문제가 발생합니다.

기존 솔루션은 두 가지 주요 한계에 직면해 있습니다:

1. 수동 큐레이션: GEOTRACES 와 같은 프로그램은 높은 데이터 충실도를 보장하지만, 과학 문헌의 기하급수적 성장에 비해 노동 집약적이며 확장성이 부족합니다.
2. 자동 추출: 범용 대규모 언어 모델 (LLM) 과 도메인 특화 파인튜닝 모델은 종종 고위험 과학적 맥락에서 실패합니다. 범용 LLM 은 필요한 도메인 특화 논리적 제약이 부족하여 환각 현상과 과학적으로 유효하지 않은 출력 (예: 동위 원소 표기법 오해석 또는 단위 변환 오류) 을 초래합니다. 반면, 파인튜닝된 모델은 복잡한 다단계 워크플로우에 필요한 지시 따르기 능력을 저하시키는 경향이 있습니다.

핵심 과제는 범용 언어 이해와 해양 지구화학에 필요한 엄격한 논리적 제약 사이의 간극을 메워 확장성과 과학적 엄밀함을 동시에 달성하는 것입니다.

방법론: Compass 프레임워크

이러한 과제를 해결하기 위해 저자들은 Compass를 제안합니다. 이는 전문가 안내 적응 (expert-guided adaptation) 접근법을 운영화하는 LLM 에이전트 프레임워크입니다. 블랙박스 파인튜닝이나 비구조화된 검색 증강 생성 (RAG) 에 의존하는 대신, Compass 는 **지식 트리 (Knowledge Tree)**를 통해 도메인 전문성을 에이전트의 워크플로우에 직접 통합합니다.

1. 지식 트리 설계

해양 과학자들과 공동 설계된 지식 트리 ($T$) 는 노드가 특정 작업 또는 하위 작업을 나타내는 계층적 구조입니다. 각 노드는 4 차원 지식 세트 ($K$) 와 연관됩니다:

• 배경 지식 ($BK$): 도메인 개념과 용어.
• 논리적 제약 ($LC$): 유효한 실행 경로를 정의하는 명시적 규칙과 조건부 의존성.
• 운영 지침 ($OG$): 단계별 절차 및 출력 형식 사양.
• 검증 기준 ($VC$): 출력 정확성을 검증하기 위한 품질 지표 및 물리적 제약 확인.

이 구조는 에이전트가 무엇을 알아야 하는지뿐만 아니라, 어떻게 추론하고 출력을 검증해야 하는지를 인코딩하여 워크플로우가 해석 가능하고 과학적으로 신뢰할 수 있도록 보장합니다.

2. 에이전트 아키텍처

Compass 는 복잡한 데이터 통합 작업을 3 단계 계층적 파이프라인으로 분해합니다:

• 수집 단계: 논문 분류 구성 요소가 저장소 (예: Semantic Scholar, AceMap) 에서 후보 논문을 검색하고, 지식 트리에 안내된 LLM 을 사용하여 대상 해양 납 데이터를 포함하는 논문을 식별합니다.
• 추출 단계: 표 분류 구성 요소가 PDF 파싱 도구 (MinerU) 를 활용하여 표 내용을 추출합니다. 그런 다음 LLM 은 맥락 정보 (캡션, 설명) 를 사용하여 표를 분석하고 대상 데이터 표를 분류 및 필터링합니다.
• 집계 단계: 세 가지 구성 요소가 통합을 처리합니다:
  • 데이터 연관: 논문 내 관련 요소를 연결합니다 (예: 각주에서 좌표와 납 측정값 매칭).
  • 교차 소스 융합: 이질적인 표 헤더를 통합된 스키마로 정규화합니다.
  • 데이터 표준화: LLM 생성 변환 함수를 사용하여 값을 일관된 단위로 변환합니다.

3. 검증 메커니즘

Compass 는 지식 트리의 검증 기준에 기반한 다층 검증 전략을 사용합니다:

• 자동 물리적 제약 확인: 추출된 모든 기록은 값 범위 검증, 단위 변환 교차 검증, 지리적 이상치 필터링을 거칩니다. 실패 시 롤백 메커니즘이 특정 하위 작업을 재처리하여 오류 전파를 방지합니다.
• 전문가 수동 검증: 해양 과학자가 종단 간 정확성을 평가하기 위해 층화 무작위 표본을 검토합니다.

주요 기여

1. Compass 프레임워크: 복잡한 과학 워크플로우를 계층적으로 분해하여 이질적인 학술 출처의 미세한 데이터 (텍스트 및 표) 를 정확하게 추출하고 통합할 수 있도록 하는 지식 트리 강화 LLM 에이전트 개발.
2. 전문가 안내 적응: 공동 설계된 지식 트리를 통해 구조화된 전문가 지식을 주입하는 것이 비용이 많이 드는 파인튜닝 없이 범용 LLM 과 고위험 과학 도메인 간의 간극을 효과적으로 메울 수 있음을 입증.
3. 가장 큰 통합 해양 납 데이터베이스: Compass 를 230,000 건 이상의 오픈 액세스 논문에 배포하여 이전에 통합되지 않았던 3,751 개의 납 기록을 복원함으로써, 현재까지 가장 큰 통합 해양 납 데이터베이스를 구축.

결과 및 성능

저자들은 10 개 범주의 337 개 표로 구성된 벤치마크 데이터셋을 사용하여 Compass 를 범용 LLM (예: GPT-4o, Gemini-2.5-pro) 과 도메인 특화 파인튜닝 모델 (예: K2, OceanGPT) 에 대해 평가했습니다.

• 벤치마크 성능: Compass(Qwen2.5-32B 백본 사용) 는 모든 작업에서 가장 높은 점수를 기록했습니다.
  • 논문 분류: 96.0% 정확도.
  • 표 분류: 94.7% 정확도.
  • 종단 간 추출: F1 점수 0.465 를 달성하여 GPT-4o(0.373) 와 Gemini-2.5-pro(0.404) 를 능가했습니다.
  • 파인튜닝 모델과의 비교: OceanGPT 와 같은 도메인 특화 모델은 성능이 저조했습니다 (F1: 0.009). 이는 파인튜닝만으로는 다단계 통합에 필수적인 지시 따르기 능력이 저하됨을 강조합니다.
• 절대 실험 (Ablation Studies): 트리 구조 논리를 제거하면 F1 점수가 0.402 로 감소했고, 지식 노드를 제거하면 0.381 로 감소했습니다. 자동 검증 롤백 메커니즘을 활성화하면 F1 점수가 0.619 로 추가로 향상되었습니다.
• 배포 규모: Compass 는 230,000 건의 논문을 처리하여 110 건의 관련 논문을 식별하고 3,751 개의 새로운 기록을 추출했습니다.
• 데이터 품질:
  • 자동 검사는 값 범위 및 지리적 경계 검사에서 100% 통과율을, 단위 변환에서는 95% 통과율을 달성했습니다.
  • 22 개 논문 (946 개 데이터 포인트) 에 대한 전문가 수동 검증은 92% 정확도(95% 신뢰구간: ±1.7%) 를 확인했습니다.
  • 오류의 주요 원인은 의미적 혼동 (예: 빗물 샘플을 해수로 잘못 분류) 과 데이터 연관 오류였습니다.

중요성 및 영향

저자들은 이 작업이 범용 LLM 과 엄격한 과학 도메인 간의 간극을 메우기 위한 전문가 안내 에이전트의 타당성을 입증한다고 주장합니다.

• 데이터 확장: 통합으로 기존 GEOTRACES 데이터셋에 16,455 개의 새로운 기록이 추가되어 (86% 증가), 동중국해, 아라비아해, 남극해 등 미관측 지역의 커버리지가 크게 확대되었습니다.
• 과학적 유용성: 풍부해진 데이터셋은 글로벌 납 인벤토리 추정, 안정 동위 원소 비율을 통한 원인 식별, 그리고 납 함유 휘발유 글로벌 단계 폐지에 대한 해양 반응 조사를 지원합니다.
• 효율성: 파이프라인은 약 52 시간의 GPU 시간을 소요하여 수동 큐레이션 대비 4 개 이상의 차수 (orders of magnitude) 효율성 개선을 달성했습니다.
• 개방 과학: 저자들은 개방 과학 접근성과 재현성을 촉진하기 위해 대화형 시각화 플랫폼 (JingWei) 과 코드베이스를 공개했습니다.

이 논문은 그림 추출과 상류 PDF 파싱 의존성과 관련된 한계가 존재하지만, 모듈식 설계가 향후 개선을 가능하게 한다고 결론지었습니다. 이 작업은 지구과학 분야에서 확장 가능한 데이터 발견을 위한 도메인 특화 모델 훈련의 실용적이고 저비용 대안을 확립합니다.