1. 문제 정의 (Problem)

지구 관측 (EO) 및 지구 과학 분야는 방대한 양의 고부가가치 지식을 생성하지만, 다음과 같은 심각한 문제점에 직면해 있습니다:

• 지식의 파편화: 이질적인 소스와 형식으로 분산된 지식은 실무자와 의사결정자의 접근을 어렵게 합니다.
• 전문성 장벽: 복잡한 정보를 이해하려면 깊은 전문 지식이 필요하여, 의사결정자들이 신뢰할 수 있는 과학적 통찰력을 얻기 어렵습니다.
• 일반 LLM 의 한계: 범용 대규모 언어 모델 (LLM) 은 특정 도메인의 전문성과 엄격한 사실성 (Factuality) 검증이 부족하여, 신뢰할 수 있는 지구 지능 (Earth Intelligence) 응용에 적합하지 않습니다.
• 할루시네이션 (Hallucination): 과학적 맥락에서 잘못된 정보를 생성할 위험이 높으며, 이를 검증할 표준화된 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

저자들은 EVE (Earth Virtual Expert) 라는 오픈 소스 엔드 - 투 - 엔드 프레임워크를 제안했습니다. 이는 도메인 특화 LLM 개발, 평가, 배포를 통합합니다.

가. 데이터 구축 및 전처리

• 코퍼스 (Corpus): 22 개 신뢰할 수 있는 출판 기관 (MDPI, NASA, Wiley 등) 의 172 개 소스를 크롤링하여 53 억 토큰 (5.3B tokens) 규모의 EO 및 지구 과학 텍스트 코퍼스를 구축했습니다.
• 전처리: Trafilatura(HTML) 와 Nougat(PDF) 을 활용하여 텍스트를 추출하고, OCR 노이즈 제거, 수식/표 보존, 개인 식별 정보 (PII) 마스킹 등을 수행했습니다.
• 합성 데이터 (Synthetic Data): Active Reading 파이프라인을 통해 원문에서 핵심 사실을 재구성하고 용어를 강화한 합성 데이터를 생성했습니다. 또한 다양한 고사양 모델 (Mistral Large, GPT-4o, Qwen 등) 을 활용해 질문 - 답변 (QA) 쌍을 생성했습니다.

나. 모델 파인튜닝 (Model Fine-tuning)

• 베이스 모델: Mistral Small 3.2 (24B 파라미터, 128k 컨텍스트) 를 기반으로 합니다.
• 학습 전략:
  • 혼합 학습: 도메인 특화 데이터 (장문 텍스트 및 인스트럭션 형식) 와 범용 재현 (Replay) 데이터를 교차하여 학습했습니다. 이는 도메인 지식 습득과 일반 능력 (지시 따르기, 도구 사용 등) 유지 사이의 균형을 맞추기 위함입니다.
  • 데이터 구성: 학습 데이터의 70% 는 인스트럭션 형식 (ContextQA, Multi-hop QA 등) 이며, 30% 는 장문 텍스트입니다.
  • 정렬 (Alignment): 온라인 직접 선호도 최적화 (Online DPO) 를 통해 포맷 일관성과 선호도 준수를 최종 조정했습니다.

다. 검색 증강 생성 (RAG) 및 할루시네이션 방지

• RAG 파이프라인: 약 36 만 개의 문서로 구성된 지식 베이스 (KB) 를 Qdrant 에 저장하고, Qwen3-Embedding-4B 를 활용한 임베딩과 Qwen3-Reranker-4B 를 통한 재순위화를 수행합니다.
• 할루시네이션 감지 및 수정:
  1. EVE-Instruct 가 생성된 답변의 사실성을 2 단계로 검증합니다.
  2. 할루시네이션이 감지되면, 새로운 문서를 검색하여 답변을 수정 (Revision) 하거나 기존 답변과 비교하여 가장 신뢰할 수 있는 답변을 선택합니다.

3. 주요 기여 (Key Contributions)

1. EVE-Instruct: 지구 지능을 위해 특화된 24B 파라미터 규모의 오픈 소스 LLM.
2. 대규모 도메인 코퍼스 및 합성 데이터셋: 28 억 토큰 (오픈 액세스) 의 커리ated 코퍼스와 107 억 토큰 규모의 합성 인스트럭션 데이터셋 공개.
3. 최초의 도메인 벤치마크: MCQA(객관식), 오픈 엔디드 QA, 할루시네이션 감지 등을 포함하는 5,693 개의 수동으로 제작된 평가 세트를 최초로 공개.
4. 배포된 시스템: RAG 와 할루시네이션 감지 파이프라인이 통합된 GUI 및 API 기반의 프로덕션 시스템 (6 개월 파일럿, 350 명 사용자).
5. 오픈 소스 공개: 모델, 데이터셋, 코드, 벤치마크를 모두 Hugging Face 와 GitHub 에서 오픈 라이선스로 공개.

4. 실험 결과 (Results)

• 도메인 벤치마크 성능: EVE-Instruct 는 동급 크기 (약 24B) 의 모델들 (Llama4, Qwen3, Gemma3 등) 보다 MCQA, 할루시네이션 감지 (F1 점수), 오픈 엔디드 QA에서 일관되게 최고 성능을 기록했습니다. 특히 할루시네이션 감지 F1 점수는 84.70 으로 경쟁 모델을 압도했습니다.
• 일반 능력 유지: 도메인 특화 학습 후에도 수학/추론, 코딩, 도구 호출, 지시 따르기 등 일반 도메인 벤치마크에서 베이스 모델 (Mistral Small 3.2) 대비 성능이 유지되거나 오히려 향상되었습니다 (전체 점수 +1.8% 상승).
• 대규모 모델 대비 경쟁력: EVE-Instruct(24B) 는 GPT-4.1(1800B) 이나 Qwen3(235B) 같은 초대규모 모델과 비교해도 도메인 벤치마크에서 경쟁력 있는 성능을 보였습니다.
• 파일럿 평가: 6 개월 파일럿 기간 동안 350 명의 사용자가 450 개의 대화를 생성했으며, RAG 파이프라인이 83.2% 의 상호작용에서 활성화되어 실제 활용 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실용적인 과학적 어시스턴트: EVE 는 모델 크기를 크게 늘리지 않고도 도메인 특화 시스템이 강력한 실용적 성능을 달성할 수 있음을 증명했습니다.
• 신뢰할 수 있는 의사결정 지원: 할루시네이션 감지 및 RAG 를 통해 과학적 사실에 기반한 신뢰할 수 있는 답변을 제공하여, 기후 변화 및 환경 문제 해결을 위한 'Earth Action'을 지원합니다.
• 오픈 생태계 조성: 데이터, 모델, 벤치마크, 코드를 모두 공개함으로써 지구 과학 및 EO 분야의 재현 가능한 LLM 개발과 연구의 장을 열었습니다.
• 미래 방향: 현재는 텍스트 기반이지만, 향후 위성 이미지 및 지리 공간 데이터와 결합된 멀티모달 에이전트 플랫폼으로 확장하여 복잡한 과학적 워크플로우를 지원할 것을 목표로 합니다.

이 논문은 지구 과학 분야에서 LLM 의 신뢰성과 실용성을 높이기 위한 체계적인 접근법을 제시하며, 해당 분야의 AI 연구 및 응용에 중요한 이정표가 됩니다.