Configurable Runtime Orchestration for Dynamic Data Retrieval in Distributed Systems

이 논문은 사전 정의된 워크플로우 없이도 구성 기반 런타임 오케스트레이션을 통해 분산 시스템 간의 동적 데이터 검색을 가능하게 하는 프레임워크를 제시하며, 이를 통해 통합 환경의 변화에 유연하고 확장 가능하게 대응할 수 있음을 보여줍니다.

핵심

1. 문제 상황: 왜 기존 방식은 불편할까요?

현대 기업들은 수많은 작은 서비스들 (마이크로서비스) 이 모여 작동합니다. 예를 들어, 은행 앱에서 "고객 정보"를 볼 때, 계좌 정보, 거래 내역, 사기 위험 점수, 신용 점수 등을 각각 다른 시스템에서 가져와야 합니다.

• 기존 방식 (Airflow, AWS Step Functions 등):
  • 비유: 마치 미리 인쇄된 레시피를 가진 주방장 같습니다.
  • 어떤 요리를 하든, 레시피 (워크플로우) 가 미리 정해져 있어야 합니다.
  • 만약 "새로운 재료를 추가하고 싶다"거나 "순서를 바꾸고 싶다"면? 주방장은 레시피를 다시 쓰고, 인쇄하고, 모든 주방에 배포해야 합니다.
  • 단점: 변화가 빠른 세상에서는 레시피를 다시 만드는 시간이 너무 걸려서, 손님이 주문한 음식을 늦게 내줄 수밖에 없습니다.

2. 이 논문의 해결책: "실시간 레고 조립"

이 논문이 제안하는 것은 **"주문이 들어오는 순간, 그 순간에 맞춰 레시피를 만들어내는 시스템"**입니다.

• 새로운 방식 (제안된 프레임워크):
  • 비유: 주문이 들어오자마자 레고 블록을 조립하는 로봇 같습니다.
  • 사전에 복잡한 레시피 (코드) 를 짜둘 필요가 없습니다. 대신 **"어떤 재료가 필요한지"만 적힌 간단한 메모 (설정 파일)**만 있으면 됩니다.
  • 손님이 "고객 정보 보여줘"라고 주문하면, 로봇은 메모를 보고 필요한 레고 블록 (데이터 소스) 들을 찾아옵니다.
  • 핵심: 레고 블록들이 서로 의존하지 않는다면 (예: 계좌 정보와 사기 점수는 동시에 구할 수 있음), 로봇은 동시에 여러 손으로 조립을 시작합니다.

3. 어떻게 작동할까요? (5 단계 프로세스)

이 시스템은 주문을 받으면 다음과 같이 움직입니다.

1. 주문 받기 (Request Adapter): 손님의 주문 (데이터 요청) 을 받습니다.
2. 메모 확인 (Configuration Resolver): "오늘은 A 고객인데, A 고객에게는 어떤 데이터가 필요하지?"라고 설정 메모를 확인합니다.
3. 작업 계획 세우기 (Execution Planner): 메모를 보고 "이건 A, 저건 B, C 는 나중에 하면 돼"라고 **작업 순서도 (그래프)**를 그립니다. 이때, 동시에 할 수 있는 일들은 동시 작업으로 표시합니다.
4. 동시 실행 (Execution Engine): 계획대로 일을 시킵니다. 서로 상관없는 일은 여러 명이 동시에 처리하므로 속도가 매우 빠릅니다.
5. 결과 합치기 (Aggregation): 각자 가져온 재료들을 한 접시에 예쁘게 담아 손님에게 내줍니다.

4. 왜 이것이 특별한가요? (장점)

• 변화에 즉각 대응: 새로운 데이터 소스 (예: '최근 분쟁 기록') 가 생겼다면? 코드를 다시 짜고 배포할 필요 없이, 메모 (설정 파일) 에 한 줄만 추가하면 됩니다. 시스템이 다음 주문부터 자동으로 그 데이터를 포함합니다.
• 속도: 동시에 여러 일을 처리하므로, 손님이 기다리는 시간이 짧아집니다.
• 유연성: 고객마다 필요한 정보가 다를 수 있습니다. 이 시스템은 고객마다 다른 레고 조립 방식을 실시간으로 만들어낼 수 있습니다.

5. 기존 방식과의 비교

구분	기존 방식 (레시피 기반)	이 논문 제안 (설정 기반)
작동 원리	미리 정해진 레시피대로 요리	주문할 때 그 순간 레시피를 만들어 요리
변경 시	레시피 다시 쓰고 배포 (시간 걸림)	메모 한 줄 수정 (즉시 반영)
적합한 상황	매일 같은 시간에 하는 대량 요리 (배치 작업)	손님이 주문할 때마다 달라지는 요리 (실시간 요청)
핵심 가치	안정성과 내구성	유연성과 속도

6. 결론: 이 기술이 필요한 이유는?

기업 환경은 매일 변합니다. 새로운 서비스가 생기고, 데이터 소스가 바뀌고, 규칙이 달라집니다.

기존의 강력한 도구들 (Airflow, Temporal 등) 은 "오래 걸리는 복잡한 업무"나 "매일 정해진 시간에 하는 작업"에는 훌륭합니다. 하지만 "손님이 주문하자마자 다양한 데이터를 모아서 보여주는" 같은 빠르고 유연한 작업에는 이 논문이 제안하는 **"설정 파일 하나로 실시간에 맞춰 움직이는 시스템"**이 훨씬 더 적합합니다.

한 줄 요약:

"매번 레시피를 다시 쓸 필요 없이, 주문할 때마다 필요한 재료만 실시간으로 골라 빠르게 요리하는 '스마트 주방' 시스템을 만들자!"

기술 요약

논문 요약: 분산 시스템 내 동적 데이터 검색을 위한 구성 가능한 런타임 오케스트레이션

저자: Abhiram Kandiraju (Capital One, Distinguished Engineer)
주제: 사전 정의된 워크플로우 대신 런타임 시 설정 (Configuration) 에서 실행 그래프를 동적으로 생성하는 오케스트레이션 프레임워크 제안

---

1. 문제 정의 (Problem Statement)

현대 기업 플랫폼은 마이크로서비스, 분석 데이터 플랫폼, 외부 API 등 이질적인 시스템들을 조합하여 복합적인 응답을 생성하는 데 의존하고 있습니다. 그러나 기존 오케스트레이션 솔루션들은 다음과 같은 한계를 가지고 있습니다.

• 사전 정의된 워크플로우 의존성: Apache Airflow(DAG 기반), AWS Step Functions(상태 머신), Temporal(코드 기반) 등 기존 시스템은 실행 전에 워크플로우 구조를 명확히 정의해야 합니다.
• 유연성 부족: 서비스 통합이 빈번하게 변경되는 환경 (새로운 서비스 추가, 의존성 변경, 데이터 소스 가변성 등) 에서 워크플로우 코드를 다시 배포하거나 DAG/상태 머신을 수정해야 하는 번거로움이 발생합니다.
• 지연 시간 (Latency) 비효율: 배치 처리나 장기간 실행되는 비즈니스 프로세스에 최적화되어 있어, 요청 시점 (Request-time) 에 즉각적인 데이터 집계와 병렬 처리가 필요한 저지연 시나리오에는 적합하지 않을 수 있습니다.

핵심 문제: 빠르게 변화하는 통합 환경에서 **유연성 (Flexibility)**과 **저지연 (Low-latency)**을 동시에 달성하면서도, 코드 재배포 없이 오케스트레이션 로직을 변경할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology)

이 논문은 설정 기반 런타임 오케스트레이션 (Configuration-driven Runtime Orchestration) 프레임워크를 제안합니다. 이 프레임워크는 요청 시점에 설정 (Configuration) 에서만 실행 그래프를 동적으로 생성하여 데이터를 검색하고 집계합니다.

주요 아키텍처 구성 요소

1. Request Adapter: 들어오는 요청을 오케스트레이션 컨텍스트로 매핑합니다.
2. Configuration Resolver: 작업 유형, 테넌트, 기능 플래그, 정책 제약 조건 등을 기반으로 적용 가능한 오케스트레이션 명세를 로드합니다.
3. Execution Planner: 설정을 파싱하여 실행 가능한 노드와 엣지로 구성된 런타임 종속성 그래프 (Dependency Graph) 를 구축합니다.
4. Execution Engine: 종속성이 없는 노드를 병렬로 실행하고, 필요한 경우 순서 제약을 준수하며 그래프 노드를 스케줄링합니다.
5. Aggregation and Response Layer: 결과를 병합하고 변환 규칙을 적용하여 통합된 응답을 반환합니다.

실행 모델

• 동적 그래프 생성: 워크플로우가 사전에 컴파일된 아티팩트가 아니라, 요청이 들어왔을 때 설정 명세 (Declarative step definitions) 를 기반으로 실시간으로 그래프가 생성됩니다.
• 지능형 병렬 처리: Planner 는 그래프 구조에서 독립적인 노드를 식별하여 병렬로 실행함으로써 지연 시간을 최소화합니다.
• 오류 처리 전략: 필수 노드 (Required), 선택적 노드 (Optional), 대체 경로 (Fallback) 를 구분하여, 일부 데이터 소스의 실패 시에도 부분적인 유효한 응답을 반환할 수 있도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 동적 런타임 그래프 생성 아키텍처: 사전 정의된 워크플로우 정의에 의존하지 않고, 설정만으로 실행 그래프를 동적으로 생성하는 아키텍처를 도입했습니다.
2. 저지연 요청 수준 오케스트레이션: 이질적인 API, 마이크로서비스, 분석 플랫폼 간의 병렬 데이터 검색을 가능하게 하는 실행 모델을 제시했습니다.
3. 배포 없는 통합 변경: 설정 파일 수정만으로 새로운 데이터 소스 추가, 의존성 변경, 조건부 로직 도입이 가능하며, 오케스트레이션 로직의 재배포 (Redeployment) 가 필요 없습니다.
4. 기존 시스템과의 비교 분석: Airflow, Step Functions, Temporal 과의 비교를 통해, 동적 데이터 검색 및 빠른 변화가 필요한 기업 통합 시나리오에서 런타임 생성 그래프가 갖는 운영적 우위를 입증했습니다.

4. 결과 및 사례 연구 (Results & Case Study)

• 사례 연구 (Customer 360 Retrieval): 고객 서비스 인터페이스가 계정 메타데이터, 거래 내역, 사기 지표, 위험 프로필 등 여러 시스템에서 데이터를 실시간으로 수집해야 하는 시나리오를 적용했습니다.
  • 기존 방식: 새로운 데이터 소스 (예: 최근 사례 컨텍스트) 를 추가하려면 워크플로우 코드를 수정하고 재배포해야 함.
  • 제안 방식: 설정 파일에 새로운 단계와 병합 규칙을 추가하는 것만으로 런타임 그래프에 자동으로 반영됨.
• 성능: 런타임 그래프 생성에 따른 오버헤드는 네트워크 바운드 (Network-bound) 검색 작업에 비해 미미하며, 종속성 인식 병렬 처리를 통해 전체 지연 시간을 크게 단축했습니다.
• 운영 효율성: 통합 토폴로지 변경 시 배포 지연을 제거하여 반복적인 최적화 비용을 절감했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 유연성과 성능이 모두 중요한 빠르게 변화하는 기업 통합 환경을 위한 새로운 오케스트레이션 패러다임을 제시합니다.

• 패러다임 전환: "코드 기반의 사전 정의 워크플로우"에서 "설정 기반의 런타임 그래프 생성"으로의 전환을 제안합니다.
• 적합한 시나리오: 장기간 실행되는 비즈니스 프로세스나 강력한 내구성이 필요한 경우 (Temporal 등) 와는 구별되며, 요청 단위 (Request-level) 의 동적 데이터 집계에 특화된 솔루션입니다.
• 실용성: REST 아키텍처의 확장성과 독립적 진화 원칙을 지원하며, 설정 관리 (Configuration Governance) 와 검증 프로세스가 동반된다면 기업 시스템의 민첩성과 성능을 동시에 달성할 수 있는 실용적인 아키텍처 모델입니다.

결론적으로, 이 프레임워크는 분산 시스템 간의 데이터 검색 복잡성을 관리하면서도, 빈번한 변경에 대응할 수 있는 저지연, 고가용성, 그리고 운영 효율성을 제공하는 중요한 대안입니다.