Airavat: 인터넷 측정을 위한 에이전트 기반 프레임워크 기술 요약

이 논문은 인터넷 측정 (Internet Measurement) 연구의 복잡성과 검증의 어려움을 해결하기 위해 제안된 Airavat, 즉 측정 워크플로우 생성 및 체계적인 검증을 위한 최초의 에이전트 (Agentic) 프레임워크를 소개합니다.

1. 문제 정의 (Problem)

인터넷 측정 연구는 두 가지 근본적인 도전에 직면해 있습니다.

1. 전문가 수준의 도구 오케스트레이션 필요성: 인터넷 측정은 BGP 분석기, traceroute 프로세서, 토폴로지 매핑 도구, 성능 모니터링 도구 등 다양한 특수 도구를 통합해야 합니다. 각 도구는 고유한 인터페이스와 데이터 형식을 가지며, 이를 수동으로 통합하려면 깊은 도메인 지식이 필요합니다. 최근 해저 케이블 단절 (AAE-1, FALCON 등) 과 같은 사건 발생 시, 신속한 분석을 위해 이러한 복잡한 워크플로우를 수동으로 구축하는 것은 시간이 많이 소요되고 전문가에 국한된 작업입니다.
2. 검증과 타당성 확보의 어려움: 기존 에이전트 시스템은 문법적으로 올바른 코드를 생성할 수 있지만, 측정 방법론적 결함 (methodological flaws) 을 포함할 수 있습니다. 예를 들어, 코드는 정상 실행되더라도 데이터 아티팩트 (artifacts) 를 필터링하지 않거나 잘못된 전처리 단계를 거쳐 결과값을 왜곡할 수 있습니다. 전통적인 소프트웨어 테스트 (구문 검사, 출력 형식 확인 등) 는 이러한 도메인 특유의 방법론적 정확성을 보장하기에 부족합니다.

2. 방법론 (Methodology)

Airavat 은 자연어 쿼리를 실행 가능한 측정 워크플로우로 변환하고, 이를 생성된 지식 그래프와 검증 엔진을 통해 방법론적으로 검증하는 다중 에이전트 시스템입니다.

2.1 핵심 아키텍처

Airavat 은 다음과 같은 주요 구성 요소로 이루어져 있습니다.

• 다중 에이전트 워크플로우 생성 파이프라인:
  • QueryMind: 사용자의 자연어 질문을 구조화된 하위 문제, 의존성, 제약 조건으로 분해합니다. (시간적, 공간적, 인과적, 이해관계자, 데이터 차원 분석)
  • WorkflowScout: 분해된 문제를 구체적인 솔루션 아키텍처로 설계합니다. 단순한 구현이 아닌, 다양한 접근 방식과 트레이드오프를 고려한 설계를 수행합니다.
  • SolutionWeaver: 설계된 워크플로우를 실행 가능한 Python 코드로 변환하고, 이기종 도구 간의 데이터 포맷 변환을 처리합니다.
• Registry (도구 레지스트리): 측정 도구의 기능, 입력/출력, 제약 조건을 표준화된 형식으로 기술한 수동 큐레이션 카탈로그입니다. 에이전트가 도구 선택 시 코드 전체가 아닌 기능적 설명에 기반해 판단할 수 있게 합니다.
• 지식 그래프 (Knowledge Graph): 지난 50 년간의 인터넷 측정 연구 논문 (SIGCOMM, IMC 등) 을 구조화하여 구축한 그래프입니다. 문제, 방법론, 데이터 소스, 검증 패턴 등을 엔티티와 관계로 표현하여 질의 및 패턴 발견을 지원합니다.
• 검증 엔진 (Verification Engine): 생성된 워크플로우를 지식 그래프에 기반한 방법론적 기준에 따라 평가합니다.
  • Evaluator: 문헌 정합성, 신규성, 실현 가능성, 단순성, 견고성 등 5 가지 차원에서 워크플로우를 평가합니다.
  • Selector: 평가 점수에 따라 워크플로우를 승인, 개선 (Enhancement), 또는 복합 (Hybrid) 합성 여부를 결정합니다.
  • Synthesizer: 식별된 결함을 수정하거나 여러 워크플로우를 결합하여 개선된 버전을 생성합니다.
• 타당성 검증 엔진 (Validation Engine): 생성된 워크플로우에 대한 검증 방법을 자동으로 도출하고 실행 가능한 검증 코드를 생성합니다.
  • InsightEngine: 문제 특성을 분석하고 지식 그래프에서 관련 검증 전략을 탐색합니다.
  • Strategizer: 탐색된 전략을 필터링하고 현재 문제에 맞게 적응 (Adaptation) 시킵니다.
  • CodeGenerator: 검증 계획을 실행 가능한 코드로 변환합니다.

2.2 작동 원리

사용자가 자연어로 측정 목표를 입력하면, QueryMind 가 문제를 분해하고 WorkflowScout 이 설계를, SolutionWeaver 가 코드를 생성합니다. 이후 검증 엔진이 지식 그래프에 저장된 선행 연구와 비교하여 방법론적 오류를 탐지하고 수정을 제안하며, 타당성 검증 엔진은 대조군 검증이나 일관성 검사 등을 위한 검증 코드를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 도메인 특화 에이전트 프레임워크: 자연어 쿼리를 실행 가능한 인터넷 측정 워크플로우로 변환하는 Airavat 을 제안했습니다.
2. 문헌 기반 검증 엔진: 50 년간의 측정 연구를 구조화된 지식 그래프로 인코딩하여, 실행 기반 테스트로는 발견할 수 없는 방법론적 결함 (예: 기본 경로 필터링 누락) 을 탐지하고 수정합니다.
3. 자동화된 타당성 검증 설계: 기존 문헌에서 검증 기법을 발견하고, 이를 새로운 문제에 맞게 적응시켜 실행 가능한 검증 코드를 생성하는 엔진을 설계했습니다.
4. 실증적 평가: 인프라 복원력 및 IP 할당 분석 등 4 가지 사례 연구를 통해 시스템의 능력을 입증했습니다.

4. 평가 결과 (Results)

논문은 4 가지 사례 연구를 통해 Airavat 의 성능을 평가했습니다.

• 전문가 솔루션 복제 (Expert Solution Replication): 전문가가 설계한 'SeaMeWe-5 케이블 고장 영향 분석' 솔루션을 Airavat 이 레지스트리에서 해당 솔루션을 제거한 상태에서도 완벽하게 복제하여 동일한 결과를 도출했습니다.
• 현명한 도구 선택 (Judicious Tool Selection): 자연재해 (지진, 허리케인) 영향 분석 시, 불필요한 복잡성을 피하고 기존 도구의 기능을 효율적으로 재사용하여 간결하면서도 정확한 워크플로우를 생성했습니다.
• 신규 문제 해결 (Novel Problem Solving): 유럽과 아시아 간 해저 케이블 고장의 연쇄적 영향 분석과 같이 기존에 해결된 바 없는 문제에 대해, 여러 프레임워크를 통합한 복잡한 워크플로우를 성공적으로 생성하고 실행했습니다.
• 도메인 전이성 (Domain Transferability): IP 할당 분석 (Prefix-to-Organization Mapping) 과 같이 이전 사례와 다른 도메인에서도 성공적으로 적용되었으나, 초기 생성된 코드는 0% 의 정확도를 보였습니다. 이는 0.0.0.0/0 기본 경로 필터링 누락과 같은 은밀한 방법론적 결함 때문이었습니다.
• 검증 엔진의 효과: 검증 엔진을 적용한 후, 위와 같은 방법론적 결함이 자동으로 탐지 및 수정되어 정확도가 0% 에서 90.9% 까지 향상되었습니다. 또한, 쿼리의 명확성 (Query Clarity) 이 결과 정확도에 큰 영향을 미친다는 것을 확인했습니다.
• 비용 및 시간 효율성: 모든 워크플로우 생성 및 검증에 소요된 시간은 10 분 미만이며, 총 비용은 약 $21.50 으로, 전문가가 수일에서 수주 소요하는 작업에 비해 매우 효율적입니다.

5. 의의 및 결론 (Significance)

Airavat 은 인터넷 측정 연구의 진입 장벽을 낮추고 연구의 엄격성을 유지하는 동시에 자동화하는 새로운 패러다임을 제시합니다.

• 민주화 (Democratization): 도메인 전문가가 아니더라도 자연어로 복잡한 측정 워크플로우를 생성하고 검증받을 수 있게 하여 측정 연구의 접근성을 높입니다.
• 신뢰성 확보: 단순한 코드 실행을 넘어, 수십 년간의 연구 성과를 기반으로 한 방법론적 검증을 통해 "실행은 되지만 결과가 틀린" 상황을 방지합니다.
• 연구 지원 도구: Airavat 은 전문가에게는 생산성을 높이는 '힘의 배가 (Force Multiplier)' 도구로, 비전문가에게는 전문적인 측정 연구를 수행할 수 있는 '발판 (Scaffolding)' 도구로 작용합니다.

결론적으로, Airavat 은 에이전트 AI 가 과학적 발견 과정에서 단순한 코드 생성기를 넘어, 방법론적 엄격성을 갖춘 연구 파트너로 발전할 수 있음을 보여주는 중요한 사례입니다.