기술 요약: 선언적 데이터 서비스 (DDS)

문제 정의

본 논문은 **다중 시스템 데이터 백엔드에 대한 에이전트형 발견 (agentic discovery)**의 과제를 다룹니다. 대규모 언어 모델 (LLM) 기반 에이전트가 새로운 알고리즘을 발견하거나 단일 시스템 구성을 최적화하는 데 (예: 자율 주행 데이터베이스) 성공을 거두었음에도 불구하고, 자연어 사용자 의도에서 이질적인 데이터 스택 (예: 큐, OLAP/OLTP 저장소, 캐시, 커넥터의 조합) 을 구성하는 과제를 수행할 때는 어려움을 겪습니다.

식별된 핵심 어려움은 다음과 같습니다:

1. 이질적인 검색 공간: 해결 공간은 서로 다른 방언, 커넥터, 운영상의 특이점을 가진 여러 개의 명확한 시스템에 걸쳐 있습니다.
2. 검증의 복잡성: "검증자"는 벤치마크 정답 키가 아니라, 배포된 스택이 실제로 실행되고 서비스 수준 목표 (SLO) 를 충족하는지 여부입니다.
3. 불균형한 지식 포착: 구성 지식 (무엇이 함께 작동하는지, 어떤 안티패턴을 피해야 하는지) 은 사전 학습 데이터에서 희소하며, 모든 릴리스 주기에 따라 변화합니다.
4. 무제한 발견의 실패: 실패 로그 피드백에 의존하는 반복적 코딩 에이전트 (무제한 발견) 는 일관되게 수렴하지 못합니다. 하류 오류에 대응하여 아키텍처를 다시 작성함으로써 이전에 성공한 단계를 퇴보시키거나, 특정 의사 결정 계층으로 신호를 추적하지 못한 채 근본 원인을 추측하는 루프에 갇히곤 합니다.

방법론: DDS 프레임워크

저자들은 전역 검색 문제를 네 가지 경계된 유형화된 하위 검색으로 분해하는 구조화된 에이전트형 발견 아키텍처인 **선언적 데이터 서비스 (DDS)**를 제안합니다. 이 프레임워크는 프레임워크(계약 및 유효성 검사를 소유) 와 하위 에이전트(해당 계약 내에서 경계된 검색 수행) 간의 엄격한 분리를 강제합니다.

아키텍처는 각각 유형화된 계약을 운반하는 네 개의 레이어 (L1–L4) 로 구성됩니다:

• L1: 의도 계약 (Intent Contract):

  • 목표: 모호한 자연어를 유효성 검사가 된 유형화된 선언으로 변환합니다.
  • 메커니즘: 하위 에이전트가 초안 의도를 유도하면, 프레임워크가 데이터 모델, 액세스 패턴, 규모, 지연 시간, 일관성, 비용이라는 6 차원 스키마에 대해 이를 검증합니다.
  • 제약: 프레임워크는 코드 생성이 발생하기 전에 잘못된 입력을 거부합니다.

• L2: 논리적 연산자 DAG:

  • 목표: 특정 제품과 독립적으로 데이터 흐름의 토폴로지 ("무엇"과 "어떻게") 를 결정합니다.
  • 메커니즘: 프레임워크는 유형화된 연산자 그래프 (예: INGEST → QUEUE → TRANSFORM → STORE) 를 정의합니다.
  • 제약: 프레임워크는 도달 가능성 (모든 인제스트는 모든 서브에 도달해야 함) 을 강제하고, 엣지 보장을 종단 간 SLO 로 구성합니다. 토폴로지가 L1 예산이나 SLO 를 충족할 수 없다면 제품 선택 전에 거부됩니다.

• L3: 물리적 기술 계약 (Physical Skill Contract):

  • 목표: DAG 에 적합한 특정 제품과 구성을 선택합니다.
  • 메커니즘: 이 레이어는 시스템별 영구적이고 편집 가능하며 구조화된 아티팩트 (YAML) 인 **에이전트 기술 (Agent Skills)**을 활용합니다. 각 기술은 *기능 (capabilities), 구성 (compositions), 안티패턴 (anti_patterns), 운영 (operational)*이라는 네 개의 블록을 포함합니다.
  • 제약: 프레임워크는 기술이 정의한 안티패턴 (예: 금지된 버전 범위, 호환되지 않는 연산자 페어링) 에 대해 후보를 검증합니다. 핵심적으로, 구성 지식은 일시적인 프롬프트 컨텍스트가 아닌 재사용 가능한 아티팩트로 여기에 저장됩니다.

• L4: 런타임 귀속 루프 (Runtime Attribution Loop):

  • 목표: 스택을 배포하고 런타임 실패를 올바른 레이어로 라우팅합니다.
  • 메커니즘: 배포 실패 시, 프레임워크는 신호 (예: 이미지 풀 실패, 포트 충돌, 컨슈머 지연) 를 분류하고 위반된 의사 결정을 소유한 레이어로 라우팅합니다.
  • 제약:
    • L4 오류(일시적 코드 생성/호스트 문제) 는 프레임워크에 의해 자동 패치됩니다.
    • L3 오류(누락된 기술/안티패턴) 는 향후 배포를 위해 영구적으로 유지되는 기술 아티팩트에 편집되는 기술 패치로 이어집니다.
    • L1/L2 오류(의도 또는 토폴로지 불일치) 는 프레임워크가 이러한 계약 경계를 자동 수정할 수 없으므로 사용자에게 수정을 위해 노출됩니다.

주요 기여

1. 다중 시스템 발견을 위한 구조화된 아키텍처: 프레임워크/에이전트 분할과 네 가지 유형화된 계약 (L1–L4) 을 갖춘 프레임워크로, 소유권 규칙에 따라 프레임워크가 계약을 검증하고 에이전트가 그 안에서 검색하도록 하여 전역 검색을 경계된 하위 검색으로 분해합니다.
2. 구조화된 대 무제한 발견: 두 가지 아키텍처 혁신:
   • 유형화된 귀속: 위반된 의사 결정을 소유한 특정 레이어로 모든 런타임 신호를 라우팅하여 전역 검색의 퇴보를 방지합니다.
   • 영구적 기술 메모리: 프롬프트가 아닌 편집 가능하고 인용 가능한 기술 아티팩트 (L3) 에 구성 지식을 저장하여 수정 사항이 배포 간에 누적되고 영구적으로 유지되도록 합니다.
3. 실증적 검증 (트레이딩 백엔드): 무제한 발견이 실패하는 곳에서 DDS 가 작동하는 스택으로 수렴함을 보여주는 사례 연구로, 런타임 실패가 기술 패치가 되어 후속 반복을 개선함을 입증했습니다.

결과

본 논문은 트레이딩 백엔드 워크로드 (초당 5 만 트릭, 10ms 미만 조회, 월 $300 예산) 와 동일한 기반 LLM (Claude Opus 4.6) 을 사용하여 DDS 를 무제한 에이전트형 발견 베이스라인 (조건 A, B, C) 과 비교 평가했습니다.

• 수렴:
  • 무제한 베이스라인: 5 회 반복과 명시적 시스템 이름이나 기술 내용을 산문으로 붙여넣더라도, 무제한 에이전트는 일관되게 작동 상태 (T1/T2) 에 도달하지 못했습니다. 조건 A(NL 만) 는 10 회 중 2 회 T1 에 도달했고, 조건 C(NL + 기술 산문) 는 10 회 중 6 회 T1 에 도달했습니다.
  • DDS: 동일한 5 회 반복 루프로 DDS 는 10/10 회에서 T1 및 T2 에 도달했습니다.
• 효율성:
  • DDS 는 수렴하는 데 중앙값 44 턴과 $1.94가 필요했습니다.
  • 무제한 베이스라인은 수렴 없이 반복을 소진하는 경우가 많았으며, 훨씬 더 많은 턴 (중앙값 209–268) 과 비용 ($5.06–$6.23) 이 필요했습니다.
• 절대성 연구 (Ablation Study): 기술 아티팩트에서 operational 및 anti_patterns 블록을 제거하면 성공률이 0/3 로 떨어졌으며, 이는 특정 운영 지식 (예: 권장 이미지, 포트 충돌) 이 사전 학습과 중복되지 않고 필수적임을 입증했습니다.
• 귀속 정확도: 통제된 고장 주입 실험 (20 인스턴스) 에서 L4 귀속 루프는 신호를 소유 레이어로 100% 정확히 라우팅했습니다.
• 학습 루프: 실제 실패 시나리오에서 네 가지 서로 다른 런타임 실패가 L3 기술 격차로 귀속되었습니다. 프레임워크는 코드 변경 없이 기술 전용 패치를 적용했으며, 두 번째 배포는 패치된 필드에 대한 인라인 인용과 함께 4/4 실패를 수정했습니다.

중요성 및 주장

본 논문은 DDS 를 실제 세계 데이터 시스템 구성에서 교훈을 보고하는 초기 프로토타입으로 위치시킵니다. 그 중요성은 복잡한 시스템에 대한 신뢰할 수 있는 에이전트형 발견을 위해 반복이나 지식 양뿐만 아니라 구조가 핵심임을 입증하는 데 있습니다.

• "승리"는 구조입니다: 저자들은 "유형화된 채널"(계약 표면) 이 반복을 레이어 경계 편집으로 전환한다고 주장합니다. 무제한 에이전트는 증상을 근본 원인 의사 결정으로 추적할 메커니즘이 부재하여 실패합니다. DDS 는 실패가 특정 레이어에 도달하도록 강제함으로써 이를 해결합니다.
• 영구적 지식: 본 논문은 구성 지식이 일시적인 컨텍스트가 아닌 "1 급 영구 아티팩트"(기술) 여야 한다고 주장합니다. 이를 통해 시스템은 실패에서 학습하고 그 교훈을 재발견 없이 향후 배포에 적용할 수 있습니다.
• 소극적 범위: 저자들은 프로토타입이 로컬 Docker Compose 에서 실행되며 "생존 증명"일 뿐 프로덕션 급 시스템이 아니라고 명시적으로 밝힙니다. 모호한 신호 (예: 컨슈머 지연) 에 대한 귀속 신뢰도, 의도 변화, 지속적 부하 하에서 SLO 를 검증할 L5 평가자 레이어의 필요성 등 열린 문제를 인정합니다. 이 작업은 모든 데이터 엔지니어링 문제를 해결한다고 주장하지는 않지만, 사용자 의도와 다중 시스템 배포를 연결하기 위한 구체적인 아키텍처 패턴을 제시합니다.