Semantic search for 100M+ galaxy images using AI-generated captions

기술 요약: AI 생성 캡션을 이용한 1억 개 이상의 은하 이미지 대상 시맨틱 검색

문제 정의
천문학계는 현대적인 망원경이 생성하는 수십억 개의 은하 이미지를 탐사하는 데 있어 심각한 병목 현상에 직면해 있다. 전통적인 발견 방식은 느린 수동 라벨링 캠페인(예: Galaxy Zoo)이나 고정된 질문 세트에 제한된 지도 학습 기반 딥러닝 모델에 의존한다. 이러한 접근 방식은 미래의 데이터셋(예: Euclid, LSST) 규모로 확장할 수 없으며, 개방형 어휘(open-vocabulary) 쿼리를 지원하는 유연성이 부족하다. 또한, 기존의 자기지도 학습 기반 유사도 검색 방식은 특정 물리적 현상을 포함하는 이미지가 아닌 시각적으로 유사한 이미지를 검색하므로, 표적화된 과학적 발견에는 불충분하다.

방법론
저자들은 완전히 라벨이 없는 이미지 데이터로부터 시맨틱 검색 엔진을 구축하기 위해 설계된 파이프라인인 AION-Search를 제안한다. 방법론은 세 단계로 진행된다:

1. VLM 캡션 생성: 저자들은 Galaxy Zoo-DECaLS 카탈로그의 인간 주석과 비교하여 14개의 시각-언어 모델(VLM)을 벤치마킹했다. 이들은 결정 트리 형태의 답변으로 파싱될 수 있는 자유 형식의 설명을 생성하는 능력을 기준으로 모델을 평가했다. GPT-4.1-mini가 정확도(Galaxy Zoo 질문에 대한 일치율 50.1%)와 API 비용 사이에서 최적의 균형을 제공하는 모델로 선정되었다. 이 모델을 사용하여 팀은 Legacy Survey 및 Hyper Suprime-Cam(HSC)에서 무작위로 선택된 30만 개의 은하 이미지에 대한 상세한 설명을 생성했다. 이후 노이즈를 줄이기 위해 이 설명들을 단일 문장으로 요약했다.
2. 대조 학습 정렬(Contrastive Alignment): 카탈로그의 모든 이미지를 캡션화하지 않고도 확장 가능한 검색을 가능하게 하기 위해, 저자들은 대조 학습 모델을 훈련시켰다. 이들은 2천만 개 이상의 관측 데이터로 사전 학습된 천문학 기초 모델인 AION-1을 이미지 인코더로 활용했다. 텍스트 요약은 text-embedding-3-large를 사용하여 임베딩되었다. 4개 층의 잔차 MLP 투영 헤드(residual MLP projection head)를 사용하여, 대칭적 교차 엔트로피(InfoNCE) 손실 함수를 통해 이미지와 텍스트 임베딩을 공유된 1024차원 시맨틱 공간으로 정렬하도록 훈련되었다. 이 과정 동안 AION-1과 텍스트 인코더의 기본 가중치는 동결되었다.
3. VLM 재순위화(Re-ranking): 희귀 현상에 대한 검색 정밀도를 높이기 위해, 저자들은 포스트 검색 재순위화 단계를 도입했다. 코사인 유사도를 통해 상위 1,000개의 후보군을 1차 검색한 후, VLM(GPT-4.1)이 사용자의 쿼리에 따라 각 후보의 점수를 매긴다. 이 단계는 추론 시 계산량을 늘려 결과의 순위를 정교화한다.

주요 기여

• 확장 가능한 시맨틱 검색: 이 시스템은 전체 데이터셋에 대한 인간의 주석 없이도 1억 개 이상의 은하 이미지(구체적으로 Legacy Survey DR10 은하들)에 대해 유연한 개방형 어휘 시맨틱 검색을 가능하게 한다.
• 제로샷 성능: 모델은 특정 클래스를 위해 의도적으로 큐레이션되지 않은 무작위 선택 이미지로 훈련되었음에도 불구하고, 희귀 현상(나선 은하, 병합 은하, 중력 렌즈)을 찾는 데 있어 최첨단(state-of-the-art) 제로샷 성능을 달ien한다.
• 재순위화 프레임워크: VLM 기반 재순위화 방식의 도입은 가장 까다로운 타겟(중력 렌즈)에 대한 상위 100개 결과 내의 재현율(recall)을 거의 두 배로 높였다.
• 공공 인프라: 저자들은 코드, 훈련된 모델 가중치, 사전 계산된 임베딩, 그리고 텍스트, 이미지, 하이브리드 검색 모드를 지원하는 공개 웹 애플리케이션(Hugging Face Spaces에서 호스팅)을 공개했다.

결과

• 검색 성능: AION-Search는 유사도 기반 베이스라인(AION-1 변형, AstroCLIP, DINOv2 포함)을 크게 능가했다. nDCG@10 지표에서 AION-Search는 나선 은하에 대해 0.941, 병합 은하에 대해 0.554, 중력 렌즈에 대해 0.173의 점수를 기록했으며, 이는 0.015에서 0.643 사이의 베이스라인 범위와 대비된다.
• 재순위화 효능: GPT-4.1 재순위화와 5개 샘플 평균화를 적용했을 때 모든 카테고리에서 nDCG@10 점수가 향상되었다. 중력 렌즈의 경우, 재순위화를 통해 상위 100개 결과 내에서 확인된 렌즈의 수가 7개에서 13개로 증가했다.
• 제로샷 분류: Galaxy10 벤치마크에서 AION-Search는 53.3%의 제로샷 분류 정확도를 달성하였는데, 이는 훈련 데이터를 생성한 VLM(GPT-4.1-mini)의 성능을 약간 상회하는 수치이다. 동결된 AION-Search 임베딩에 지도 학습 기반 MLP 헤드를 추가했을 때 정확도는 84.1%에 도달하여 기본 AION-1 모델의 성능과 일치하였으며, 이는 대조 학습 정렬이 형태학적 정보를 보존했음을 나타낸다.
• 과학적 발견: 이 시스템을 사용하여 저자들은 반복적인 하이브리드 이미지 및 텍스트 쿼리를 통해 36개의 새로운 외부 은하 별의 흐름(stellar stream) 후보를 식별했다. 이 후보들은 11개의 기존 조석 구조(tidal features) 카탈로그와 교차 검증을 통해 새로운 것임이 확인되었다.

의의 및 주장
본 논문은 VLM 생성 캡션을 사용하여 시맨틱 검색을 위한 훈련 세트를 생성한 첫 번째 천문학 사례라고 주장한다. 저자들은 자신들의 접근 방식이 거대한 라벨 없는 과학적 이미지 아카이브를 인간의 감독 없이도 시맨틱 검색이 가능하게 만들 수 있음을 입증한다고 단언한다. 이들은 이를 지구 관측, 현미경 관찰, 재료 과학 등 라벨 없는 이미지 아카이브를 보유한 다른 분야에도 적용 가능한 일반화된 프레임워크로 규정한다. 이 작업은 인간의 검사 능력을 초과하는 방대한 데이터셋을 분석함으로써 AI 에이전트가 과학적 발견을 가속화할 수 있는 "데이터 센터 안의 천재들의 나라"라는 비전을 향한 단계로 제시된다. 저자들은 VLM 설명에 환각(hallucination)이 포함될 수 있고 모델이 훈련 VLM의 편향을 상속받을 수 있다는 한계를 인정하면서도, 이러한 불완전한 주석이 효과적인 대조 학습을 위한 충분한 신호를 제공한다고 주장하며 겸허한 태도를 유지한다.