STILTS-NLI: 천문학 데이터 분석을 위한 자연어 인터페이스

1. 문제 정의 (Problem)

• 배경: STILTS (Starlink Tables Infrastructure Library Tool Set) 는 천문학 분야에서 대규모 표 형식 데이터를 처리하기 위해 강력한 명령줄 도구이지만, 그 방대한 기능과 복잡한 문법으로 인해 새로운 사용자들이 진입 장벽을 느끼고 있습니다.
• 핵심 문제: STILTS 는 TOPCAT(그래픽 인터페이스) 에 비해 상대적으로 덜 사용되고 있으며, 이는 복잡한 명령어 작성의 어려움 때문입니다. 이는 천문학 소프트웨어 전반에 걸쳐 공통적으로 나타나는 문제입니다.
• 목표: 이러한 접근성 문제를 해결하고, STILTS 의 사용성을 높이기 위해 사용자의 자연어 프롬프트를 STILTS 명령어로 변환하는 자연어 인터페이스 (NLI) 를 개발하는 것입니다.

2. 방법론 (Methodology)

2.1 합성 데이터 생성 및 검증 (Synthetic Data Generation & Validation)

• 데이터 부족 해결: 공식 문서의 예제만으로는 미세 조정 (Fine-tuning) 에 필요한 충분한 데이터를 확보할 수 없었으므로, 대규모 언어 모델 (LLM) 을 활용하여 합성 데이터 (프롬프트 - 응답 쌍) 를 생성했습니다.
• 생성 전략:
  • 49 가지 STILTS 작업 중 가장 유용한 12 가지 작업 (예: tpipe, tmatch, tapquery 등) 에 집중했습니다.
  • 여러 LLM(Gemini, GPT, Claude 등) 을 실험한 결과, NotebookLM이 가장 자연스러운 프롬프트와 정확한 STILTS 명령어를 생성하여 최종 학습 데이터셋으로 채택되었습니다.
• 검증 프로세스:
  • 생성된 명령어는 내부 STILTS 함수를 통한 자동 구문 검사 (Syntactic check) 를 거쳤습니다.
  • 함수의 논리적 유효성 (예: NULL 처리 방식 등) 을 수동 및 추가 스크립트로 검증하여 허위 생성 (Hallucination) 된 명령어를 제거했습니다.
  • 초기 7,270 개의 쌍 중 약 15% 를 제거하여 6,228 개의 유효한 학습 데이터를 확보했습니다.

2.2 모델 학습 (Training)

• 기반 모델: Google 의 Gemma 시리즈 (20 억 파라미터 모델인 2B 와 270 억 파라미터 모델인 27B) 를 사용했습니다.
• 학습 단계:
  1. 도메인 적응 전학습 (Domain-adaptive Pre-training): STILTS 문서 전체를 모델에 노출시켜 STILTS 특유의 어휘와 문법에 익숙하게 만들었습니다 (1 epoch, 매우 짧은 시간 소요).
  2. 미세 조정 (Fine-tuning): 생성된 합성 데이터셋을 사용하여 자연어 설명을 실행 가능한 명령어로 매핑하는 능력을 학습시켰습니다.
• 하드웨어: 2B 모델은 단일 GPU(A6000), 27B 모델은 Isambard-AI 클러스터 (GH200 Superchips) 에서 학습되었습니다.

2.3 에이전트 소프트웨어 구현 (Agentic Implementation)

• 인터페이스: 단순히 명령어만 출력하는 것이 아니라, 사용자와 상호작용하는 에이전트 방식을 도입했습니다.
• 이중 모델 구조:
  • 사용자 인터페이스: Llama-3.2-3B-Instruct 모델이 사용자의 입력을 이해하고 컨텍스트를 관리합니다.
  • 핵심 변환기: 미세 조정된 Gemma-2B 모델이 실제 STILTS 명령어를 생성합니다.
• 실행: 생성된 명령어는 사용자의 로컬 머신에서 직접 실행되거나, 사용자에게 제안됩니다.

3. 주요 기여 (Key Contributions)

1. STILTS-NLI 개발: STILTS 명령어를 생성하는 최초의 자연어 인터페이스를 구축했습니다.
2. 소규모 오픈소스 모델의 검증: 거대하고 폐쇄적인 상용 모델 (GPT-5, Gemini 등) 대신, 소규모 (2B) 오픈소스 모델을 미세 조정하여 도메인 특화 작업에서 더 나은 성능을 발휘할 수 있음을 증명했습니다.
3. 접근성 및 저비용 솔루션: 로컬 머신에서 실행 가능하여 API 비용이 들지 않으며, 데이터 프라이버시를 보장하고 환경 부담을 줄인 솔루션을 제시했습니다.
4. 합성 데이터 검증 파이프라인: 천문학 도메인 특화 명령어 생성을 위한 고품질 합성 데이터 생성 및 엄격한 검증 워크플로우를 제시했습니다.

4. 결과 (Results)

• 성능 비교 (Table 3):
  • STILTS-NLI (2B 모델): 4 가지 난이도 다른 테스트 프롬프트에서 모두 문법적으로 유효한 명령어를 생성했습니다.
  • 상용 모델 (GPT-5, Gemini 2.5 Pro): 간단한 작업은 성공했으나, 복잡한 작업 (예: 4 개 카탈로그 병합 및 필터링) 에서 **허위 기능 (Hallucination)**을 생성하거나 잘못된 문법 (isNull 대신 !NULL 등) 을 사용하여 실패했습니다.
• 모델 크기 비교:
  • 2B 모델과 27B 모델의 성능은 유사하거나 2B 모델이 약간 더 우수했습니다.
  • 27B 모델은 학습 시간이 훨씬 길었음에도 불구하고 추가적인 성능 향상을 보이지 않았습니다. 이는 학습 데이터의 양이 부족하여 거대 모델의 파라미터를 충분히 활용하지 못했기 때문으로 분석됩니다.
• 의미: 검증된 도메인 특화 데이터셋으로 학습된 소규모 모델이, 광범위한 지식을 가진 일반 목적의 거대 모델보다 특정 전문 작업에서 더 정확하고 신뢰할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 천문학 소프트웨어 접근성 혁신: 복잡한 명령줄 도구를 자연어로 제어할 수 있게 함으로써 천문학 연구의 진입 장벽을 낮추고, 학생 및 비전문가도 고급 데이터 분석 도구를 활용할 수 있게 합니다.
• 지속 가능성: 오픈소스 모델과 로컬 실행을 통해 연구 비용 절감과 환경 친화적인 AI 활용을 가능하게 합니다.
• 향후 과제: 현재는 12 가지 주요 작업에 국한되어 있으나, 향후 학습 데이터를 확장하여 STILTS 의 전체 기능을 지원하고, 음성 인식 (Speech-to-text) 레이어를 추가하여 장애가 있는 연구자들의 접근성을 높이는 방향으로 발전할 예정입니다.

이 연구는 고품질의 도메인 특화 데이터와 소규모 오픈소스 모델의 미세 조정이 전문 과학 도구와의 상호작용을 혁신할 수 있음을 보여주는 중요한 사례입니다.