당신이 거대하고 복잡한 레고 성을 만들려고 하는데, 설명서가 몇몇 전문가들만 읽을 수 있는 비밀 코드로 작성되어 있다고 상상해 보세요. 이것이 현재 한 컴퓨터 시스템에서 다른 시스템으로 데이터를 이동시키는 현실입니다. 데이터 과학의 세계에서 "데이터 마이그레이션(data migration)"은 단순히 정보를 한 곳(예: 오래된 서류함)에서 챙겨서 새로운 집(예: 반짝이는 새로운 디지털 클라우드)으로 옮기는 행위를 말합니다. 이를 위해 엔지니어들은 보통 "파이프라인"이라고 불리는 복잡한 "레시피"를 작성해야 합니다. 이 파이프라인은 컴퓨터에게 데이터를 어떻게 가져오고, 어떻게 정제하며, 어떻게 적절한 위치에 내려놓을지를 정확히 알려줍니다. 전통적으로 이러한 레시피를 작성하려면 JSON이라는 특수한 언어가 필요한데, 이는 완벽한 문장 부호와 특정 규칙을 요구하는 엄격하고 가차 없는 문법과 같습니다. 쉼표 하나를 빠뜨리거나 숫자를 잘못 입력하면 전체 시스템이 무너집니다. 이는 큰 장벽을 만듭니다. 즉, 당신이 코딩의 마법사가 아니라면, 비록 무엇을 하고 싶은지는 정확히 알고 있더라도 데이터를 쉽게 옮길 수 없게 됩니다.

여기 LeafData가 있습니다. 이 시스템은 당신의 일상적인 생각과 그 엄격한 컴퓨터 코드 사이를 이어주는 친절한 번역기가 되도록 설계되었습니다. LeafData를 단순히 명령을 따르는 로봇이 아니라, 도움을 주는 매우 똑똑한 투어 가이드라고 생각해 보세요. 가이드에게 비밀 코드를 배우라고 강요하는 대신, 당신은 그저 "내 고객 리스트를 이 오래된 데이터베이스에서 저 새로운 스프레드시트로 옮기고 싶어"라고 말하기만 하면 됩니다. 그러면 가이드는 마치 미스터리를 해결하는 탐정처럼, 하나씩 간단한 질문을 던지며 당신을 안내합니다. 가이드는 당신이 실수를 하지 않았는지 확인하기 위해 답변을 엄격한 규칙 책(rulebook)과 대조하여 검토합니다. 모든 조각이 모이면, 시스템은 자동으로 완벽한 "레시피"(JSON 설정 파일)를 구축하고, 이를 실제로 데이터를 옮기는 중노동을 수행할 마스터 빌더(오케스트레이션 플랫폼)에게 전달합니다. 그 결과, 코딩을 전혀 배우지 않은 호기심 많은 십 대 청소년이라 할지라도 복잡한 데이터를 옮길 수 있게 됩니다.

논문의 핵심 발견

이 논문은 자연어로 된 사용자의 요청을 검증 가능하고 실행 가능한 데이터 마이그레이션 파이프라인으로 변환하는 "에이전트 시스템(agentic system, 즉 똑똑하고 자율적인 조력자)"인 LeafData를 소개합니다. 저자들은 챗봇 인터페이스와 엄격한 검증 엔진을 결요함으로써, 사용자가 복잡한 설정 파일을 수동으로 작성해야 하는 필요성을 제거할 수 있다는 것을 발견했습니다.

마법이 일어나는 단계별 과정은 다음과 같습니다:

1. 챗봇 가이드 (프론트엔드)
당신이 다리를 건설하는 데 정확히 무엇이 필요한지 알고 있는 매우 인내심 강한 사서와 대화하고 있다고 상상해 보세요. 당신은 "MySQL 데이터베이스의 데이터를 AWS S3의 파일로 옮기고 싶어"라고 말하며 시작합니다. 챗봇은 단순히 "알겠습니다"라고 말하고 운에 맡기지 않습니다. 대신, 챗봇은 "상태 추적(state tracking)" 모드로 들어갑니다. 챗봇은 당신이 *소스(source)*와 *목적지(destination)*를 말했다는 것은 알지만, 아직 *호스트 이름(host name)*이나 *포트 번호(port number)*를 말하지 않았다는 것을 알고 있습니다. 그리고 이 세부 사항들을 하나씩 요청합니다.

• 안전망: 만약 당신이 "Port: abc"(포트는 숫자여야 하므로 말이 안 되는 입력)라고 입력하면, 챗봇은 즉시 당신을 멈춰 세웁니다. 그리고 "포트는 숫자여야 합니다. 다시 시도해 주세요"라고 말합니다. 챗-봇은 모든 답변이 진행되기 전에 Apache Avro 스키마라는 엄격한 규칙 책을 사용하여 답변을 검사합니다. 이를 통해 대화가 끝날 때쯤이면 당신의 지침이 100% 정확함을 보장합니다.
• "시간 여행" 기능: 만약 마음이 바뀌더라도 처음부터 다시 시작할 필요는 없습니다. 당신은 @change와 같은 특별한 명령어를 사용하여 "사실, 다른 데이터베이스 이름을 사용하려고 했어"라고 말할 수 있으며, 시스템은 이미 제공한 다른 올바른 정보들을 잃지 않고 내부 노트를 업데이트합니다.

2. 설계자 (백엔드)
챗봇이 모든 올바르고 검증된 정보를 수집하면, 이 노트들을 백엔드 서비스로 전달합니다. 이 부분은 당신의 단순한 요구 사항 목록을 받아 청사진을 그리는 설계자와 같습니다.

• 청사진: 시스템은 특정 JSON 파일들을 생성합니다. 이것들은 단순한 텍-스트 파일이 아닙니다. 소스에 어떻게 연결할지, 목적지에 어떻게 연결할지, 그리고 데이터를 옮기기 위한 단계별 계획(DAG 또는 Directed Acyclic Graph라고 불림)을 정의하는 구조화된 "아티팩트(artifacts)"입니다.
• 번역기: 시스템은 당신이 데이터를 데이터베이스에서 옮기든, 스프레드시트에서 옮기든, 혹은 웹사이트 API에서 옮기든 상관하지 않습니다. 시스템에는 "커넥터 추상화 계층(connector abstraction layer)"이라는 범용 어댑터가 있습니다. USB 드라이브를 꽂든 광섬유 케이블을 꽂든, 이 어댑터는 전력이 동일한 방식으로 흐르도록 보장합니다. 이는 시스템이 MySQL, Oracle, MongoDB, SFTP 파일, REST API를 모두 동일한 기본 로직을 사용하여 처리할 수 있음을 의미합니다.

3. 빌더 (오케스트레이션)
마지막으로, 이 JSON 청사진들은 Apache Airflow라는 마스터 빌더에게 전달됩니다. Airflow는 이 파일들을 읽고 실제 파이프라인을 구축합니다. 이는 "먼저 소스에서 데이터를 가져온다. 둘째, 임시 장소에 저장한다. 셋째, 목적지로 로드한다"와 같은 작업들을 보여주는 시각적 그래프(플로우차트와 같은 형태)를 생성합니다.

• 결과: 논문은 실제 사례를 통해 이를 입증합니다. 한 사례에서는 AWS S3 버킷(클라우드 저장소 폴нде)에 있는 의료 기록을 MySQL 데이터베이스로 이동했습니다. 시스템은 파일을 다운로드하는 작업, 데이터를 정제하는 작업, 데이터를 업로드하는 작업을 자동으로 생성했습니다. 그 결과, 발생한 모든 과정을 명확한 로그와 함께 성공적으로 데이터를 전송했습니다.
• 복잡한 데이터: 또한 MongoDB(중첩되고 불규칙한 구조를 가짐)나 REST API의 JSON과 같은 "지저난" 데이터를 처리하는 모습도 보여주었습니다. 시스템은 이러한 복잡한 구조들을 깔끔하고 조직화된 행(row) 형태로 자동 변환하여 데이터베이스에 맞게 펼쳐주었으며, 이는 인간의 개입 없이도 다양한 유형의 데이터를 처리할 수 있음을 증명했습니다.

LeafData가 (아직) 하지 못하는 것

이 시스템의 경계를 이해하는 것이 중요합니다. 논문은 LeafData가 현재 **선형 파이프라인(linear pipelines)**만을 지원한다고 명시하고 있습니다. 즉, 데이터를 A 지점에서 B 지점으로 직선으로 이동시키는 데는 뛰어나지만, 경로가 갈라지거나(branching) 시스템이 데이터에 따라 결정을 내려야 하는(조건부 로직) 복잡한 워크플로우는 아직 처리하지 못합니다. 예를 들어, "데이터가 크면 클라우드로 보내고, 작으면 로컬 서버로 보내라"와 같은 명령은 아직 수행할 수 없습니다. 이는 향러 버전의 시스템이 담당할 몫입니다.

결론

저자들은 이 방식이 효과적이라는 점에 확신을 가지고 있습니다. 그들은 단순히 작동할 것이라고 제안하는 데 그치지 않고, 실제 데이터 마이그레이션으로 작동하는 프로토타입을 구축하고 테스트했습니다. 챗봇을 통해 사용자를 안내하고 엄격한 검증기를 통해 답변을 확인함으로써, 오류 없는 설정 파일을 생성하여 서로 다른 시스템 간에 성공적으로 데이터를 이동시킬 수 있음을 보여주었습니다.

핵 핵심적인 교훈은 LeafData가 기술과 상호작용하는 방식의 변화를 제시한다는 것입니다. 인간이 기계의 엄격한 언어를 배우도록 강요하는 대신, 우리가 정밀함을 유지할 수 있도록 돕는 엄격한 "문법 경찰(검증 계층)"이 뒷받침된다면, 기계가 우리의 자연어를 이해하도록 가르칠 수 있다는 것입니다. 이는 강력한 데이터 마이그레이션의 세계를 비전문가도 접근 가능하게 만들며, 파이프라인을 설정하는 시간을 단축하고 오타 하나로 시스템 전체를 망가뜨릴 수 있다는 두려움을 제거해 줍니다.