🤖 AI

UrbanDS: A Graph-Guided LLM Multi-Agent System for Data-Intensive Urban Tasks

본 논문은 데이터 집약적인 도시 업무의 과제를 효과적으로 해결하고 벤치마크 평가와 실제 배포 모두에서 기존 방식보다 우수한 성능을 보이는, 데이터 검색 및 처리를 위한 기술과 관계를 체계화하는 통합 데이터셋 그래프를 구축하는 그래프 가이드형 LLM 멀티 에이전트 시스템인 UrbanDS를 제안한다.

원저자: Zhilun Zhou, Jianghao Yu, Yuming Lin, yongjun yang, Sun Yongquan, Depeng Jin, Yong Li

게시일 2026-07-30

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhilun Zhou, Jianghao Yu, Yuming Lin, yongjun yang, Sun Yongquan, Depeng Jin, Yong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 우리와 대화하고, 우리의 질문을 이해하며, 심지어 문제를 해결하기 위해 코드를 작성하는 데 매우 능숙해지는 세상을 상상해 보세요. 이러한 똑똑한 컴퓨터들을 거대 언어 모델(LLM)이라고 부르며, 이들은 초강력 비서 같은 역할을 합니다. 하지만 여기에는 함정이 있습니다. 이들은 대화는 잘하지만, 데이터가 지저분하고 방대하며 여기저기 흩어져 있는 실제 데이터 과학 작업을 요청받으면 종종 어려움을 겪습니다. 이것은 마치 아주 똑똑한 사서에게 특정 사실을 찾아달라고 부탁하는 것과 같습니다. 다만, 깔끔한 도서관 대신 수백만 개의 상자가 무작위로 쌓여 있는 거대한 창고에 그들을 던져 놓은 상황이며, 당신은 어떤 상자에 답이 들어있는지도 모르는 상태입니다. 사서는 읽는 법은 알지 몰라도, 지도 없이는 올바른 책을 찾을 수 없습니다. 이것이 바로 연구자들이 해결하려고 노력 중인 큰 문제입니다. 어떻게 하면 이 AI 비서들이 단순히 질문에 답하는 것을 넘어, 혼란스러운 데이터의 바다에서 올바른 정보를 실제로 찾아내고, 서로 다른 조각들이 어떻게 연결되는지 파악하며, 실질적인 답을 내놓기 위해 수학적 계산을 수행하도록 가르칠 수 있을까요?

여기에 도시 관련 문제들을 위한 궁극적인 '데이터 탐정'이 되도록 설계된 영리한 새로운 시스템인 UrbanDS가 등장합니다. 이 프로젝트의 연구진은 도시 데이터가 특별한 종류의 혼돈이라는 점을 깨달았습니다. 도시 데이터는 교통 센서, 인구 기록, 지도, 비즈니스 로그 등 어디에서나 흘러나오며, 이 조각들은 매우 까다로운 방식으로 연결되어 있습니다(예를 들어, 도로의 위치가 근처에 사는 사람들과 어떻게 연관되는지 등). 기존의 AI 도구들은 보통 데이터가 은쟁반에 담겨 자신들에게 전달되기를 기대하기 때문에 여기서 실패하곤 합니다. UrbanDS는 게임의 판도를 바꿉니다. 이 시스템은 협력하는 전문 에이전트 팀처럼 작동합니다. 먼저, 이들은 모든 데이터의 거대하고 살아있는 '지도'(그래프)를 구축합니다. 한 팀의 에이전트들은 모든 파일을 하나하나 살펴보고 읽으며, 그 안에 무엇이 들어 있고 다른 파일들과 어떻게 연결되는지를 설명하는 '이력서'를 작성합니다. 또 다른 팀은 이 이력서들 사이에 선을 그려서 어떤 데이터 조각들이 시간, 공간 또는 의미상으로 이웃인지 보여줍니다.

사람이 "지금 학교 근처 어디에서 교통 체증이 발생하고 있나요?"와 같은 질문을 던지면, '플래너(Planner)' 에이전트가 이 지도를 살펴봅니다. 추측하는 대신, 이 에이전트는 선을 따라가며 정확히 필요한 교통 및 학교 데이터를 찾아냅니다. 그다음, '실행(Execution)' 에이전트 팀이 숫자를 계산하기 위한 코드를 작성하고 실행하며, 마치 그룹 프로젝트를 수행하는 친구들처럼 서로의 진행 상황을 공유합니다. 마지막으로 '리포터(Reporter)' 에이전트가 조사 결과를 정리하여 보고서를 작성합니다. 연구진은 이 시스템을 10개 주요 중국 도시의 94개 데이터셋과 거의 500개의 서로 다른 과제로 구성된 UrbanDS-Bench라는 거대한 챌린지에 테스트했습니다. 결과는 인상적이었습니다. UrbanDS는 이러한 까다로운 데이터 탐색 퍼즐을 다른 최고 수준의 AI 도구들보다 훨씬 더 잘 해결했으며, 차순위 도구의 정답률인 63%에 비해 약 70%의 정답률을 기록했습니다. 그들은 심지어 우한시에서 실제 도시 계획가들이 실제 시정 데이터를 분석하는 데 도움을 주며 이 시스템을 현실 세계에서 테스트했고, 이 '지도 기반' 접근 방식이 실험실뿐만 아니라 실제 도시의 거리에서도 작동한다는 것을 증명했습니다.

기술 요약: UrbanDS

문제 정의

대규모 언어 모델(LLM) 에이전트는 데이터 과학 워크플로우를 자동화하는 데 있어 유망한 가능성을 보여주었으나, 기존 방식들은 데이터 집약적인 시나리오에서 상당한 한계에 직면해 있습니다. 현재의 접근 방식은 일반적으로 작업과 함께 직접 제공되는 제한된 데이터셋 세트에 의존합니다. 그러나 실제 응용 분야, 특히 도시 컴퓨팅(urban computing) 분야는 다양한 도메인(예: 모빌리티, 교통, 토지 이용, 경제)에 걸쳐 수천 개의 파일을 포함하는 대규모의 이질적인 저장소를 포함합니다.

핵심 과제는 두 가지입니다:

데이터셋 발견(Dataset Discovery): 에이전트는 파일명이 모호하거나 익명화되어 있고 대부분의 데이터가 특정 쿼리와 무관한 거대한 풀(pool) 내에서 관련 데이터셋을 식별해야 합니다.
복잡한 통합(Complex Integration): 도시 데이터셋은 복잡한 공간적, 시간적, 의미적 관계를 나타냅니다. 에이전트는 단순히 데이터를 찾는 것을 넘어, 다운스트림 분석을 수행하기 위해 이러한 이질적인 소스들을 어떻게 조인하고 통합할지(예: 인구 데이터셋의 region_id와 경계 데이터셋의 id를 매칭하는 방법) 이해해야 합니다.

기존 벤치마크들은 필요한 데이터셋을 사전에 제공하므로, 노이즈가 많은 대규모 저장소 내에서 데이터를 발견하고 연결하는 에이전트의 능력을 평가하는 데 실패합니다.

방법론: UrbanDS 프레임워크

이러ense한 과제를 해결하기 위해 저자들은 데이터 집약적인 도시 작업을 위해 특별히 설계된 그래프 가이드형 LLM 멀티 에이전트 시스템인 UrbanDS를 제안합니다. 이 시스템은 데이터셋 그래프 구축과 태스크 실행이라는 두 가지 별도의 단계로 작동합니다.

1. 데이터셋 그래프 구축 (Dataset Graph Construction)

특정 태스크를 실행하기 전에, UrbanDS는 모든 쿼리에 대해 모든 파일을 검사하는 비용을 피하기 위해 원시 데이터 저장소를 구조화된 지식 그래프( $G = (V, E)$ )로 정리합니다.

데이터 프로파일링 에이전트(Data Profiling Agent): 이 에이전트는 Python 코드를 사용하여 각 데이터셋을 한 번씩 탐색하고 재사용 가능한 **데이터셋 스킬(Dataset Skill)**을 생성합니다. 이 스킬은 데이터셋의 내용, 스키마, 통계, 시공간적 범위 및 사용 지침을 요약합니다.
관계 에이전트(Relation Agent): 이 에이전트는 데이터셋 간의 관계를 식별하여 그래프의 엣지( $E$ $E$ )를 형성합니다. 이는 세 가지 유형의 관계를 모델링합니다:
- 공간 및 시간 관계: 데이터셋 스킬에서 발견된 겹치는 지리적 범위와 시간 범위를 통해 결정됩니다.
- 의미적 관계: **의미적 코드북(Semantic Codebook)**을 통해 식별됩니다. 시스템은 프로파일링 중에 엔티티 식별자(예: 지역 ID)의 증분 코드북을 구축합니다. 그 후 관계 에이전트는 동일한 코드가 할당된 필드 간의 연결을 검증하여, 서로 다른 필드 이름을 사용하더라도 조인이 가능한지 결정합니다.
결과: 노드는 데이터셋(스킬 포함)을 나타내고, 엣지는 공간적, 시간적 또는 의미적 연결을 나타내는 데이터셋 그래프가 생성됩니다.

2. 태스크 실행 (Task Execution)

사용자 쿼리가 수신되면 시스템은 다음 워크플로우를 실행합니다:

플래너 에이전트(Planner Agent): 그래프에서 관련 데이터셋을 검색합니다. 이는 점진적 검색(progressive retrieval) 전략을 채택합니다:
1. 먼저 이름과 짧은 설명을 검토하여 유망한 후보를 선택합니다.
2. 그 다음 후보들의 전체 데이터셋 스킬을 읽습니다.
3. 그래프의 엣지를 탐색하여 관련될 수 있는 인접 데이터셋을 발견하고, 최종적인 **분석 계획(Analysis Plan)**을 확정하기 전에 각 선택 사항을 스킬에 근거하여 검증합니다.
실행 에이전트(Execution Agents): 여러 에이전트가 협력하여 계획을 실행합니다. 각 에이전트는 코드를 작성하고 실행함으로써 특정 하위 태스크를 처리합니다. 이들은 실행 진행 상황, 중간 결과 및 로그를 포함하는 **공통 메모리(common memory)**를 공유하여, 후속 에이전트가 재계산 없이 출력을 재사용할 수 있도록 합니다. 초기 계획에 충분한 데이터가 부족한 경우, 에이전트는 그래프에서 추가 데이터셋을 검색할 수 있습니다.
보고 및 수정 에이전트(Report & Revision Agents): 보고 에이전트는 실험 로그를 종합하여 최종 보고서를 작성합니다. 수정 에이전트는 사용자 피드백에 따른 반복적인 정교화를 허용하며, 전체 태스크를 다시 시작하지 않고도 보고서나 산출물을 업데이트할 수 있게 합니다.

주요 기여

UrbanDS 시스템: 대규모 도시 데이터셋을 재사용 가능한 스킬과 관계의 그래프로 구성하여 자동 데이터셋 발견, 계획, 실행 및 보고를 가능하게 하는 멀티 에이전트 시스템을 제안했습니다.
UrbanDS-Bench: 도시 데이터 과학을 위한 포괄적인 벤치마크를 구축했습니다. 여기에는 다음이 포함됩니다:
- 10개 주요 중국 도시의 94개 데이터셋 (지리 공간, 모빌리티 및 사회경제적 데이터 포함).
- 450개의 데이터 분석 태스크(공간, 시간 및 시공간)와 8개의 데이터 모델링 태스크.
- 에이전트가 파일명이 아닌 콘텐츠 검사에 의존하도록 강제하는 "플랫(flat)" 데이터 풀(데이터셋이 익명화됨).
경험적 검증: UrbanDS가 데이터 집약적인 시나리오에서 기존의 데이터 과학 에이전트 및 일반 코딩 에이전트보다 우수함을 입증하는 광범로한 실험을 수행했습니다.
실제 배포: 우한시 동후구의 도시 운영 플랫폼에 성공적으로 배포되어 실제 시 행정 데이터를 활용한 실질적인 분석을 지원했습니다.

실험 결과

저자들은 UrbanDS-Bench와 CoDA-Bench 모두에서 DS-Agent, Data Interpreter, DeepAnalyze, AutoGen, Claude Code와 같은 베이스라인과 비교하여 UrbanDS를 평가했습니다.

UrbanDS-Bench 성능: UrbanDS는 **70.0%**의 전체 정확도를 달しま, 가장 강력한 베이스라인인 Claude Code(62.9%)를 11.2% 앞질렀습니다. 또한 공간(65.7%), 시간(83.6%), 시공간(73.9%)의 모든 추론 카테고리에서 선두를 차지했습니다.
CoDA-Bench 성능: UrbanDS는 **46.2%**의 정확도를 달성하여 Claude Code보다 10.0% 향상된 성능을 보였으며, 이는 일반적인 데이터 발견 작업에서의 효과성을 입증합니다.
데이터 모델링: UrbanDS는 8개 데이터 모델링 태스크 모두에서 최고의 결과를 달성했습니다. 특히 POI 체크인 예측의 경우, UrbanDS는 $R^2$ 값 0.464를 기록한 반면, 모든 베이스라인은 음수의 $R^2$ 값을 생성하여 모델 구축을 위한 보조 데이터셋 활용 능력이 월등함을 보여주었습니다.
절제 연구(Ablation Study): **데이터셋 관계(Dataset Relations)**를 제거했을 때 전체 정확도가 평균 13.3% 감소하여 그래프 기반 발견의 중요성을 강조했습니다. **데이터셋 스킬(Dataset Skills)**을 제거했을 때는 (특히 시공간 태스크에서) 평균 20.6%의 더 큰 하락이 발생하여, 데이터 내용에 대한 구조화된 지식이 올바른 통합에 필수적임을 확인했습니다.
확장성: 필요한 데이터셋의 수가 증가함에 따라 모든 방법의 성능이 하락했습니다 (4개 이상의 데이터셋이 필요한 태스크의 경우 모든 방법의 정확도가 53% 미만으로 떨어짐). 그럼에도 불구하고 UrbanDS는 가장 높은 상대적 성능을 유지했습니다.

의의 및 주장

본 논문은 UrbanDS가 현재 LLM 에이전트 연구의 중요한 격차, 즉 코드 생성이 아니라 데이터 발견 및 통합이 주요 병목 현상인 데이터 집약적 환경에서 작동하는 능력을 해결한다고 주장합니다.

사전 정의된 입력 그 이상: 필요한 데이터셋을 미리 제공하는 이전 벤치마크들과 달리, UrbanDS-Bench는 거대한 이질적 저장소를 탐색하여 "건초더미 속의 바늘"을 찾는 에이전트의 능력을 평가합니다.
그래프 가이드 효율성: 데이터를 스킬과 관계의 그래프로 사전 정리하는 것이 LLM의 컨텍스트 윈도우 부담을 크게 줄이고 데이터 선택의 정확도를 높인다는 것을 보여줍니다.
실제 유용성: 우한에서의 배포와 사용자 연구(분석 시간을 5.6배 단축함)는 이 시스템이 단순한 이론적 개선이 아니라 실제 도시 데이터 분석을 가속화할 수 있는 실행 가능한 도구임을 시사합니다.
한계점: 저자들은 현재 시스템이 사용자 지정 요청을 실행하는 데 집중하고 있음을 솔직하게 언급했습니다. 아직 사전 정의된 질문 없이 저장소를 능동적으로 탐색하거나 데이터 패턴으로부터 새로운 연구 가설을 제안하는 능력은 갖추지 못했습니다. 향endo의 작업은 시스템을 이러한 더 개방적인 능력으로 확장하는 것을 목표로 합니다.