🤖 AI

EO-Agents: A Three-Agent LLM Pipeline for Earth Observation Hypothesis Generation

이 논문은 NASA 지구 관측 지식 그래프(NASA Earth Observation Knowledge Graph)를 기반으로 하여, 이종 그래프 신경망(heterogeneous graph neural network)을 활용해 유망한 데이터셋 쌍을 식별함으로써 여러 지구 과학 분야에 걸쳐 과학적으로 일관되고 참신한 연구 가설을 성공적으로 생성하고 평가하는 3개 에이전트 LLM 파이프라인인 EO-Agents를 소개한다.

원저자: Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지구 관측(EO) 연구를 지구에 관한 8,000개 이상의 서로 다른 "책"(데이터셋)이 담긴 거대하고 혼란스러운 도서관이라고 상상해 보십시오. 각 책은 특정한 정보를 담고 있습니다. 어떤 책은 토양 수분(soil moisture)에 대해 말해주고, 다른 책은 구름 높이(cloud height)에 대해, 또 다른 책은 빙하 속도(ice velocity)에 대해 말해줄 수 있습니다.

수십 년 동안 과학자들은 어떤 두 권의 책을 함께 읽었을 때 최고의 이야기를 만들어낼 수 있을지 알아내기 위해 노력해 왔습니다. 문제는 가능한 모든 쌍(pairing)이 100만 개가 넘는다는 점입니다. 이는 거대한 주방에서 모든 조합을 일일이 맛보며 완벽한 두 가지 재료를 찾는 것과 같습니다. 인간 혼자서는 이를 해낼 수 없습니다.

이 논문은 과학자들이 이러한 완벽한 재료의 조합을 찾고 새로운 연구를 위한 레시피(가설)를 쓸 수 있도록 설계된 새로운 "스마트 주방 보조원", EO-Agents를 소개합니다.

시스템이 작동하는 방식은 다음과 같이 간단한 단계로 나뉩니다.

1. 지도 (지식 그래프)

먼저, 시스템은 단순히 책을 읽는 것이 아니라, 그들이 서로 어떻게 연관되어 있는지 보여주는 거대하고 복잡한 지도를 구축합니다. 이것은 모든 데이터셋이 하나의 역(station)이 되는 지하철 노선도와 같습니다.

연결성: 만약 두 데이터셋이 과거의 과학 논문에서 함께 사용되었다면, 그 사이에는 직접적인 기차 노선이 존재합니다.
목표: 시스템은 아직 기차 노선이 없지만, 마땅히 있어야 할 두 역을 찾아내는 것을 목표로 합니다.

2. 정찰병 (AI 랭커)

시스템은 정찰병 역할을 하는 특화된 AI(그래프 신경망, GNN)를 사용합니다. 이 정찰병은 지도를 살펴보며 연결되지 않은 두 역 중 어떤 곳이 좋은 파트너가 될 가능성이 높은지 예측합니다.

비유: 정찰병이 도시 지도를 보고 있다고 상상해 보십시오. 도시 A와 도시 B 사이에 아직 도로가 연결되어 있지 않더라도, 정찰병은 두 도시의 지형과 자원이 유사하다는 것을 보고 도로가 존재해야 한다고 예측합니다.
결과: 정찰병은 가장 유망한 "미개척" 데이터셋 쌍 200개를 선정합니다.

3. 3인 AI 팀 (LLM 파이프라인)

정찰병이 상위 200개의 쌍을 찾아내면, 시스템은 이들을 세 명의 AI "에이전트"(GPT-5.2 및 Claude Sonnet 4.6과 같은 대규모 언어 모델) 팀에게 전달합니다. 이들은 생산 라인처럼 작동합니다.

에이전트 1: 필터 (문지기)
- 역할: 이 에이전트는 200개의 쌍을 검토하며 다음과 같이 질문합니다. "이 조합이 실제로 타당한가? 새로운 것인가?"
- 행동: 점수를 매겨 가장 좋은 40개를 골라냅니다. 이는 마치 "이 40개의 쌍은 실제 실험에서 정말로 작동할 수 있을 것 같다"라고 말하는 인재 발굴가와 같습니다.
에이전트 2: 생성기 (발명가)
- 역할: 이 에이전트는 선정된 40개의 쌍을 바탕으로 전체 연구 제안서를 작성합니다.
- 행동: 단순히 "이 데이터들을 연구하라"고 말하는 데 그치지 않습니다. 구체적인 이야기를 써 내려갑니다: "만약 데이터셋 X와 데이터셋 Y를 결합한다면, [특정 과학적 질문]이 사실인지 테스트할 수 있다. 방법은 다음과 같으며, 우리는 다음과 같은 결과를 기대한다."
- 출력물: 구조화되고 즉시 테스트 가능한 40개의 가설을 만들어냅니다.
에이전트 3: 심판 (비평가)
- 역할: 이 에이전트는 40개의 제안서를 읽고 점수를 매깁니다.
- 행동: 다음 세 가지 기준에 따라 평가합니다:
  1. 중요성: 이것이 과학적으로 중요한가?
  2. 실행 가능성: 현재의 도구들로 이 연구를 실제로 수행할 수 있는가?
  3. 참신함: 이것이 신선한 아이디어인가?
- 반전: 심판은 모든 제안서에 대해 두 번의 작업을 수행합니다. 한 번은 텍스트만 보는 블라인드(blind) 방식이고, 다른 한 번은 실제 데이터 설명을 함께 보는 컨텍스추얼(contextual) 방식입니다. 이는 아이디어가 단순히 문장 때문에 좋게 들리는 것인지, 아니면 실제로 데이터가 뒷받침하고 있는지를 확인하기 위함입니다.

무엇을 발견했는가?

연구팀은 이 전체 과정을 1,475개의 NASA 데이터셋에 적용하여 160개의 새로운 구조화된 연구 가설을 얻었습니다. 이 가설들은 빙하학(ice), 수문 생태학(water and plants), 대기 화학 등 다양한 분야를 아우릅니다.

주요 발견:

시스템의 효용성: AI가 생성한 "새로운" 쌍들은 실제 과학 논문에서 발견되는 역사적인 쌍들만큼이나 타당하다는 평가를 받았습니다. 이는 시스템이 단순히 아무 말이나 지어내는 것이 아니라, 인간이 아직 시도하지 않은 과학적으로 일관성 있는 조합을 찾아내고 있음을 의미합니다.
"심판"의 중요성: 논문은 재미있는 특징을 발견했습니다. 누가 심판 역할을 하느냐에 따라 점수가 달라진다는 것입니다. 만약 AI 모델 A를 심판으로 사용하면 특정 가설에 4/5점을 줄 수 있지만, AI 모델 B를 사용하면 동일한 가설에 3/5점을 줄 수도 있습니다.
- 교훈: 단일 AI 심판이 완벽한 절대 점수를 줄 것이라고 믿어서는 안 됩니다. 하지만 *순위(ranking)*는 안정적입니다. 두 심판 모두 정확한 점수는 다를지라도, 어떤 아이디어가 "최고"이고 어떤 아이디어가 "최악"인지에 대해서는 의견이 일치했습니다.
실제 사례: 시스템은 빙하 투과 레이더 데이터와 자기장 데이터를 결 함께 사용하여 암반 위에서의 얼음 흐름을 연구하거나, 토양 수분 데이터와 식생 지수를 결합하여 가뭄에 대한 식물의 반응을 관찰하는 등의 아이디어를 제시했습니다.

핵심 요약

이 논문은 과학자들이 방대한 데이터의 바다를 항해할 수 있도록 돕는 도구를 제시합니다. 수백만 개의 가능성 속에서 표류하는 대신, 시스템은 지도를 사용하여 숨겨진 최적의 연결 고리를 찾고, 그 후 AI 에이전트 팀을 사용하여 연구 제안서를 쓰고 이를 평가합니다. 이것은 과학을 대신 해주는 로봇이 아니라, 당신이 요리를 시작할 수 있도록 가장 유망한 "레시피" 목록을 건네주는 로봇입니다.

기술 요약: EO-Agents

문제 정의

지구 관측(EO) 연구는 근본적으로 조합론적이며, 단일 데이터셋이 아닌 측정 제품(예: 토양 수분과 식생 지수의 결 조합)의 특정 쌍에 의존합니다. NASA는 8,000개 이상의 EO 데이터셋을 배포하고 있지만, 잠재적인 쌍의 조합 공간( $\sim 10^6$ )은 인간이 조사할 수 있는 능력을 훨씬 초과합니다. 과학적 가설 생성을 위한 기존의 대규모 언어 모델(LLM) 접근 방식은 일반적으로 비정형 문헌 검색에 의리하며, 가설을 자유 형식의 텍스트 주장으로 취급합니다. 그러나 데이터가 풍부한 관측 영역에서 유용한 가설은 이를 테스트하는 데 필요한 구체적이고 실행 가능한 측정 제품과 분리될 수 없습니다. 문헌에 기반한 현재의 파이프라인은 가설을 명명된 데이터셋에 직접 연결하는 데 실패하며, 데이터셋 식별을 텍스트 생성의 부수 효과로 취급하는 경향이 있습니다.

방법론

저자들은 가설 생성을 비정형 텍스트가 아닌 **NASA 지구 관측 지식 그래프(EO-KG)**에 직접 접지(grounding)하는 파이프라인인 EO-Agents를 제안합니다. 이 시스템은 세 단계로 작동합니다.

1. 지식 그래프 및 GNN 검색

데이터 소스: 파이프라인은 150,351개의 노드(데이터셋, 출판물, 기기, 플랫폼 등 포함)와 436,203개의 엣지로 구성된 이종 그래프인 EO-KG를 활용합니다.
감독(Supervision): 공동 사용 감독은 여러 데이터셋을 인용하는 출판물으로부터 도출됩니다. 쌍(pair)은 출판 연도를 기준으로 라벨링되어 시계열 분할을 생성합니다: 훈련(논문 $\le$ 2022), 검증(2023), 테스트(2024).
랭킹 모델: 후보 데이터셋 쌍을 랭킹하기 위해 링크 예측을 통해 학습된 이종 그래프 신경망(Heterogeneous GNN) 기반의 GraphSAGE를 사용합니다.
- 아키텍처: 모델은 서로 다른 엣지 유형(예: 공동 사용, 플랫폼 장착, 키워드 멤버십)에 대해 유형별 어그리게이터(aggregator)를 사용합니다. 데이터셋 노드는 768차원의 SPECTER2 임베딩으로 초기화되며, 다른 노드 유형은 학습 가능한 임베딩을 사용합니다.
- 스코어링: 두 가지 스코어링 헤드가 평가됩니다: 점곱(dot-product) 스코어러( $z_{dot}$ )와 MLP 스코어러( $z_{mlp}$ ). 점곱 헤드는 "콜드 스타트(cold-start)" 쌍(학습 시 공동 사용 기록이 없는 데이터셋)에서 더 우수한 성능을 보이며, MLP 헤드는 "교차 DAAC(cross-DAAC)" 쌍(서로 다른 아카이브의 데이터셋)에서 뛰어난 성능을 보입니다.
- 출력: GNN은 예측된 공동 사용 가능성에 따라 쌍을 랭킹하여 상위 200개의 새로운 쌍(훈련/검증/테스트 세트에서 관찰되지 않은 쌍)을 추출합니다.

2. 3-에이전트 LLM 파이프라인

상위 200개의 후보 쌍은 GPT-5.2 또는 Claude Sonnet 4.6으로 인스턴스화된 세 개의 LLM 에이전트 캐스케이드에 의해 처리됩니다. 모든 에이전트는 샘플링 분산을 최소화하기 위해 온도를 0으로 설정하고 엄격한 JSON 출력을 사용합니다.

에이전트 1 (필터): 데이터셋 쌍과 그 초록을 받습니다. 이 에이전트는 생성된 가설 텍스트를 보지 않고 타당성(Plausibility)(1–5)과 참신성(Novelty)(1–5)을 점수화합니다. 높은 타당성과 충분한 참신성의 균형을 맞추는 계층적 규칙을 사용하여 상위 40개의 쌍을 선택합니다.
에이전트 2 (생성기): 선택된 40개의 쌍을 받아 각 쌍에 대한 구조화된 연구 가설을 생성합니다. 출력에는 연구 질문, 검증 가능한 가설, 분석 방법, 예상 결과, 과학적 중요성 및 도메인 태그가 포함됩니다. 결정적으로, 이 에이전트는 필터의 선호도로 회귀하는 것을 방지하기 위해 에이전트 1의 점수를 보지 않습니다.
에이전트 3 (판사): 생성된 가설을 중요성(Importance), 실행 가능성(Tractability), 참신성(Novelty) 측면에서 평가합니다. 이 에이전트는 두 가지 조건 하에서 작동합니다:
- 블라인드(Blind): 가설 텍스트만 확인합니다.
- 컨텍스추얼(Contextual): 가설 텍스트와 기초 데이터셋 메타데이터를 함께 확인합니다.

3. 요인 설계 평가 (Factorial Evaluation)

LLM 기반 평가의 신뢰성을 평가하기 위해, 저자들은 에이전트 역할(필터, 생성기, 판사)과 판정 조건(블라인드, 컨텍스추얼)에 걸쳐 $2 \times 2 \times 2$ 요인 설계 실험을 수행합니다. 이를 통해 160개의 가설에 대해 640개의 판단을 얻었으며, 스코어링 과정의 분산 분해를 수행했습니다.

주요 결과

1. 검색 성능

이종 GNN은 모든 테스트 풀에서 베이스라인(Popularity, Common Neighbors, Adamic–Adar, MF-SVD 및 SPECTER2, BGE-base와 같은 콘텐츠 전용 모델)을 크게 상회합니다.

콜드 스타트(Cold-Start): GNN은 Hits@10에서 0.519를 달성하여 콘텐츠 베이스라인(0.477)과 구조적 휴리스틱(0.211)보다 높은 성능을 보였습니다.
교차 DAAC(Cross-DAAC): GNN은 Hits@10에서 0.175(점곱) 및 0.266(MLP)을 달성하였으며, 이는 일반적인 과학적 보일러플레이트로 인해 콘텐츠 유사성이 실패하기 쉬운 서로 다른 아카이브 간의 데이터셋 연결 능력을 입증합니다.
참신성 vs. 타당성: GNN이 예측한 새로운 쌍은 2024년 출판물에서 관찰된 실제 공동 사용 사례와 구별할 수 없을 정도로 높은 타당성 점수를 받았습니다 (예: GPT의 경우 4.38 대 4.57). 이는 시스템이 과학적으로 일관되고 탐구되지 않은 조합을 찾아낸다는 것을 나타냅니다.

2. 평가 신뢰성 및 분산 분해

요인 실험은 LLM-as-judge의 신뢰성에 대한 중요한 통찰을 제공합니다:

랭킹 안정성: 가설 랭킹은 서로 다른 에이전트 구성 간에 매우 안정적입니다. 160개 중 159개의 가설이 판정 조건이 바뀌어도 순위가 최대 2단계 내에서 변했습니다.
절대 점수 분산:
- 중요성: **판사 정체성(Judge Identity)**에 크게 의존합니다 (분산의 25.1%). GPT-5.2는 Claude Sonnet 4.6보다 중요성을 일관되게 높게 평가합니다.
- 실행 가능성: 블라인드/컨텍스추얼 조건에 의해 지배됩니다 (분산의 15.8%). 판사가 텍스트만 볼 때 가설이 더 실행 가능한 것처럼 보이며, 데이터셋 메타데이터를 제공하면 실행 가능성 점수가 낮아집니다. 이는 텍스트만으로는 실현 가능성을 과장할 수 있음을 시사합니다.
- 참신성: 모든 요인에 대해 낮은 분산을 보였으며, 판사들은 쌍의 유형 간 참신성을 구별하는 데 어려움을 겪었습니다.
평가자 간 일치도: 일치도는 실행 가능성( $\kappa_q \approx 0.47$ )에서 가장 높고 중요성( $\kappa_q \approx 0.14$ )에서 가장 낮았습니다. 이는 "의미 있는 진보"가 가장 주관적인 지표이며 모델의 사전 지식에 가장 민감함을 확인시켜 줍니다.

3. 생성된 출력

파이프라인은 다섯 가지 핵심 도메인(수문 생태학, 빙하학, 에어로졸-구름 상호작용, 식생 페놀로지, 성층권 화학)에 걸친 160개의 구조화된 가설을 생성했습니다. 대표적인 예로, IceBridge 항공 자기계 데이터와 InSAR 유래 남극 빙하 속도를 연결하여 하부 빙하 자기 이상이 빙하 바닥 마찰 패턴을 예측한다는 가설이 있습니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

구조적 접지(Structured Grounding): 비정형 텍스트 검색을 넘어, 지식 그래프 랭커를 통해 모든 LLM 생성 가설를 특정 NASA 데이터셋 쌍에 연결하는 관측 과학을 위한 가설 생성 파이프라인을 도입했습니다.
과학적 일관성: 모델이 예측한 새로운 쌍이 실제 문헌의 공동 사용 사례만큼 타당하다는 것을 입증함으로써, 이 파이프라인이 모델의 훈련 분포를 넘어 과학적으로 일관된 아이디어를 생성한다는 증거를 제시했습니다.
평가 한계: 가설 순위는 안정적이지만, LLM-as-judge 평가에서의 절대 점수는 특정 판사 모델과 컨텍스텍 데이터의 가용성에 크게 의존한다는 실증적 근거를 제공했습니다. 이는 과학적 발견을 위한 단일 판사 평가에 의존할 때의 위험성을 강조합니다.

저자들은 이 시스템이 실행이 아닌 **아이디어 구상(ideation)**을 위해 설계되었음을 강조합니다. 160개의 가설은 인간 주도의 조사를 위한 씨앗 역할을 하며, 이를 발견으로 간주하기 전에는 도메인 전문가의 검증과 실제 데이터 분석이 필요합니다. 이 연구는 인간 과학자를 대체하는 것이 아니라, 방대한 조합 공간 속에 남아 있을 수 있는, 데이터셋에 접지된 실행 가능한 연구 방향을 제시함으로써 발견의 층위를 보강하는 것을 목표로 합니다.