기술 요약: AI 생성 망원경 스케줄링 결정을 위한 다층 검증 및 추적 가능성 프레임워크

1. 문제 정의

LSST(Legacy Survey of Space and Time)와 같은 대규모 탐사와 과도 현상 탐지 네트워크(예: ZTF)에 의해 주도되는 시변 천문학(time-domain astronomy)의 급격한 발전은, 동적인 제약 조건 하에서 대규모의 이질적인 경보 스트림을 처리할 수 있는 자동화된 망원경 스케줄링 시스템에 대한 절박한 필요성을 창출했습니다. 인공지능(AI), 특히 대규모 언어 모델(LLM)은 다목적 의사결정 솔루션으로서 유망한 해결책을 제시하지만, 이를 고신뢰성 천문 관측 운영에 적용하는 데에는 다음과 같은 결정적인 한계가 존재합니다:

• 신뢰할 수 없는 출력: AI 모델은 종종 조작된 데이터 참조, 잘못된 대상 좌표, 존재하지 않는 기기 상태를 포함하는 "환각(hallucination)" 현상을 일으킵니다.
• 실행 불가능한 결정: 생성된 스케줄은 종종 물리적 또는 기기적 제약 조건(예: 구름 덮임, 가시성 창)을 위반하여 실행이 불가능합니다.
• 추적 가능성 결여: AI 모델의 추론 과정은 종종 불투명하여, 결정을 감사하거나 오류를 국지화하거나 출력의 논리적 일관성을 검증하기 어렵습니다.
• 자원 낭비 위험: 고도의 이해관계가 걸린 관측 환경에서 검증되지 않은 AI 결정을 배포하는 것은 과도 현상 포착 기회의 상실과 제한된 망원경 시간의 낭비로 이어질 수 있습니다.

기존 연구는 주로 AI 모델의 내재적 능력(예: 강화 학습 또는 그래프 신경망을 통한 개선)을 향상시키는 데 집중해 왔으나, 실행 전 AI 출력의 신뢰성과 검증 가능성을 다루는 데에는 충분히 대응하지 못했습니다.

2. 방법론

저자들은 AI가 생성한 스케줄링 제안과 관측 명령 실행 사이에 독립적인 검증 계층으로 작용하는 **다층 검증 및 추적 가능한 추론 프레임워크(Multi-Level Validation and Traceable Reasoning Framework)**를 제안합니다. 이 프레임워크는 AI의 결정 생성 과정에 직접 개입하지 않고, 입력/출력 표현을 재구조화하며 체계적인 다단계 파이프라인을 통해 결과를 검증합니다.

2.1. 결정의 구조적 표현

자동 검증을 가능하게 하기 위해, 본 프레임워크는 자연어 형태의 AI 출력을 다음으로 구성된 구조화된 형식으로 변환합니다:

• 주장(Claims): 스케줄링 결정 또는 운영 지침.
• 논거(Arguments): 데이터를 결정과 연결하는 추론.
• 증거(Evidence): 지원하는 데이터 소스 및 관측 조건.

이 구조는 암묵적인 추론을 명시적이고 분석 가능한 데이터 참조로 매핑합니다.

2.2. 원자적 추론 단위(ARU) 및 의존성 그래프

본 방법론의 핵심은 스케줄링 결정의 내용을 **원자적 추론 단위(Atomic Reasoning Units, ARU)**로 분해하는 것입니다. ARU는 가장 작은 단위의 불가분한 인과적 추론 단위로 정의됩니다(예: "기기 상태 S가 주어졌을 때, 시간 창 [t1, t2] 내에서 대상 T에 대해 관측 A를 수행하라").

• 공식 정의: 각 ARU는 튜플 $a_i = \langle e_i, c_i \rangle$로 표현되며, 여기서 $e_i$는 지원하는 데이터 필드 집합이고 $c_i$는 원자적 결론입니다.
• 의존성 DAG: 완전한 스케줄링 제안은 ARU를 노드로 하고 에지(edge)가 의존성을 나타내는 유향 비순환 그래프(Directed Acyclic Graph, DAG), $G = (V, E)$로 모델링됩니다. 이를 통해 계층적 검증과 추론 사슬 내 특정 오류 단계의 식별이 가능합니다.

2.3. 다층 검증 메커니즘

프레임워크는 제안이 진행되기 전에 일련의 체크를 수행합니다:

1. 기기 상태 검증: 현재 기기 가용성 및 환경 조건(예: 구름 덮임)에 대한 결정 여부를 확인합니다.
2. 천문 지식 검증: 기본적인 천문 법칙 위반 여부를 확인합니다(예: 잘못된 필터, 만료된 시간 창).
3. 계산적 제약 조건: AI의 확률적 오류에 대응하기 위해 전통적인 결정론적 방법을 사용하여 주요 수치 계산(예: 각거리)을 재평가합니다.
4. 원천 데이터 진위 검증: 참조된 모든 대상, 상태 및 제약 조건이 데이터베이스에 존재하며 현재 시스템 상태와 일치하는지 검증합니다.
5. 일관성 체크: 언어적 추론 묘사가 기초 데이터와 일치하는지 확인합니다(예: 간섭원이 주장된 경우, 데이터 기록이 반드시 존재해야 함).

2.4. 폐쇄 루프 피드백

제안이 검증에 실패할 경우, 프레임워크는 구조화된 오류 정보(실패 유형, 필드 및 의존성 경로 식별)를 생성합니다. 이 정보는 AI 모델에 추가적인 제약 조건으로 피드백되어 제안의 재생성을 유도합니다. 이는 빠른 오류 수정을 위한 폐쇄 루프 시스템을 형성합니다.

3. 주요 기여

• 추적 가능한 추론 표현: ARU와 DAG의 도입은 불투명한 AI 추론을 구조화되고 감사 가능한 프로세스로 변환하여, 단계별 일관성 검사 및 오류 국지화를 가능하게 합니다.
• 분리된 검증 계층: 프레임워크는 제안 생성과 실행 안전성을 분리하며, 결정론적 데이터베이스 쿼리와 규칙 기반 체크를 사용하여 AI의 자기 검증에 의존하지 않고 AI 출력을 검증합니다.
• 피드백 기반 교정: 검증 실패를 활용하여 AI가 제약 조건을 준수하는 결정으로 나아가도록 유도하는 메커니즘을 통해, 복구 성공률을 크게 향상시킵니다.
• 구조화된 입출력 제약: 데이터베이스 필드 및 상태 사전(state dictionary)과 정렬된 JSON 기반 구조를 강제함으로써, 의미론적으로 동일한 추론에 대한 모델 출력의 가변성을 줄이고 재사용 및 검증을 용이하게 합니다.

4. 실험 결과

본 프레임워크는 두 가지 모델(Phi-4 14B 및 Qwen3 30B)을 사용하여 단일 고우선순위 과도 현상부터 노이즈가 있는 입력을 포함한 복잡한 다중 대상 경쟁(S1~S6)까지 6가지 대표적인 스케줄링 시나리오에 대해 평가되었습니다. 실험에는 실제 ZTF 경보 데이터에서 추출된 2,000개 이상의 테스트 케이스가 사용되었습니다.

4.1. 신뢰성 및 실행 가능성

• 베이스라인 성능: 검증이 없는 순수 AI 모델은 낮은 실행 가능성을 보였습니다. 예를 들어, 복잡한 시나리오(S5, S6)에서 통과율이 크게 떨어졌습니다(예: S6에서 Qwen3의 통과율은 약 20%에 불과했습니다).
• 프레임워크의 영향: 검증 프레임워크의 도입은 평균 통과율을 18.1% 증가시켰습니다(출력 레벨 검증만 적용 시). 피드백 메커니즘을 추가하면 성능이 12.6% 더 향상되었으며, ARU/DAG 추론 검증을 통합했을 때 추가로 **16.8%**의 개선 효과가 나타났습니다.
• 최종 성능: 프레임워크가 강화된 접근 방식은 1.000의 외부 실행 가능성 비율(EER)과 0.944의 참조 정책 수용도(RPA)를 달 기록하였으며, 이는 순수 AI 베이스라인(EER 0.692, RPA 0.531)을 크게 상회하며 복잡한 시나리오에서 강력한 결정론적 베이스라인(예: 정수 선형 계획법)의 성능에 근접하는 수치입니다.

4.2. 추론 재사용성 및 복잡성

• 수렴: 자연어 표현의 다양성에도 불구하고, 프레임워크는 추론 복잡성이 수렴함을 보여주었습니다. 2,000개 이상의 테스트 케이스 전반에 걸쳐 빈번하게 발생하는 ARU의 수는 약 300~320개 수준에서 안정화되었습니다.
• 재사용률: 시나리오 전반의 평균 추론 재사용률은 약 **80%**였으며, 다중 과도 현상 시나리오에서는 최대 **90%**에 달했습니다. 이는 구조화된 표현이 추론 공간을 인간이 감사할 수 있는 관리 가능한 크기로 효과적으로 제한하고 있음을 나타냅니다.

4.3. 오류 분석

프레임워크는 다음과 같은 일반적인 실패 모드를 성공적으로 식별하고 차단했습니다:

• 조작된 간섭원.
• 현재 망원경 상태 제약 조건의 누락.
• 간섭 수준을 구분하지 못함.
• 물리적으로 불가능한 좌표.

5. 의의 및 주장

본 논문은 제안된 프레임워크가 고신뢰성 천문 스케줄링에 AI를 적용하기 위한 실행 가능하고 검증 가능한 경로를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 신뢰성 격차 해소: 검증된 결정만을 실행하도록 보장함으로써, LLM의 도입을 가로막았던 "환각" 병목 현상을 해결합니다.
• 감사 가능성 확보: DAG를 통해 추론 과정을 명시적이고 추적 가능하게 만듦으로써, 과학적 신뢰에 필수적인 오류 국지화 및 사후 분석을 지원합니다.
• 유연성과 안전성의 균형: AI 기반 스케줄링의 유연성과 적응성을 유지하면서도, 실제 망원경 운영에 필요한 안전성과 결정론적 특성을 강제합니다.
• 확장성: 추론 단위의 수렴은 본 프레임워크가 검증 복잡성의 통제 가능한 증가 없이 더 크고 복잡한 스케줄링 문제로 확장될 수 있음을 시사합니다.

저자들은 본 프레임워크의 일차적 목표가 깨끗하고 완전히 지정된 환경에서의 결정론적 스케줄러의 최적성을 능가하는 것이 아니라, 실행 가능성과 정확성을 보장하는 것임을 명시했습니다. 대신, 클래식한 방법론이 동적 제약 조건으로 인해 어려움을 겪을 수 있는 노이즈가 많고 이질적인 ToO(Time-Domain Astronomy) 환경에서, AI를 유연한 제안 생성을 위한 유효한 도구로 만드는 것을 목표로 합니다.