기술 요약: 도시 계획 전문가의 판단력에 대한 대규모 언어 모델(LLM) 벤치마킹

1. 문제 제기

도시 계획 실무에서 대규모 언어 모델(LLM)의 급격한 도입은 다음과 같은 긴급한 인식론적 질문을 던진다: 인공지능이 전문적인 계획적 판단을 구성하는 맥락적 민감성, 가치 인식, 그리고 제도적 문해력을 어느 정도까지 복제할 수 있는가? 기존 문헌들은 광범위한 윤리적 비판이나 좁은 기술적 응용(예: 자동화된 계획 평가 또는 감성 분석)을 제시하고 있으나, AI 시스템이 실제 현장에 필요한 *프로네시스(phronesis, 실천적 지혜)*를 갖추고 추론할 수 있는지 평가하기 위한 체계적이고 도메인 특화된 프레임워크는 부족한 실정이다. 의학이나 법학이 AI 능력과 인간의 전문성을 구분하기 위한 확립된 벤치마크(Med-PaLM, LegalBench 등)를 보유한 것과 달리, 도시 계획 분야에는 계획가들이 실제로 무엇을 알고 있으며 어떤 차원의 지식이 여전히 인간 고유의 영역으로 남아있는지를 측정할 수 있는 경험적 도구가 부재하다. 이러한 공백은 전문가들이 근거 기반의 가이드라인 없이, 고위험 과업에 AI를 과도하게 의존하거나 일상적인 업무에 AI를 불필요하게 거부하게 만드는 위험을 초래한다.

2. 방법론: 도시 계획 벤치 (UPBench)

이러한 격차를 해소하기 위해, 저자들은 컴퓨터 과학의 일반적인 벤치마크가 아닌 도시 계획 학문의 자체적인 지식 구조에 기반한 도메인 특화 평가 프레임워크인 **Urban Planning Bench (UPBench)**를 소개한다.

2.1. 평가 아키텍처

UPBench는 4×5 매트릭스를 따라 구성된 증거 중심 설계(Evidence-Centered Design, ECD) 프레임워크를 활용한다:

• 4가지 지식 기둥: 국제 자격 시험(AICP, RTPI, PIA) 및 커리큘럼에서 도출됨:
  1. 도시 계획 원리: 기초 이론 및 분석 개념 (에피스테메, Episteme).
  2. 학제 간 통합: 공학, 생태학, 경제학 등 인접 분야와의 합성 (테크네, Techne).
  3. 계획 거버넌스: 법적, 규제적, 제도적 조건 (해석적 영역).
  4. 계획 실무: 프로젝트 맥서 내에서의 통합적 전문 판단 (프로네시스, Phronesis).
• 5가지 인지 수준: 앤더슨과 크라트월(Anderson & Krathwohl, 2001)의 개정된 블룸(Bloom) 분류법을 채택:
  1. 기억(Remember): 개념 및 이론의 사실적 회상.
  2. 이해(Understand): 관계 및 이론적 논리의 설명.
  3. 적용(Apply): 특정 문제 해결을 위한 지식의 배치.
  4. 분석(Analyze): 명제와 주장에 대한 비판적 평가.
  5. 평가(Evaluate): 시나리오의 타당성을 판단하고 정확한 용어를 제공함.
     (참고: '창안(Create)' 단계는 개방형 생산보다는 전문적 판단에 집중하기 위해 제외되었다.)

2.2. 데이터 구축 및 검증

• 시나리오 생성: 본 벤치마크는 교차 국가 파이프라인을 통해 도출된 405개의 평가 시나리오로 구성된다. 출처로는 AICP 준비 자료, 중국 국가 등록 도시 계획사 시험(2,150개 항목), 그리고 MIT, UC 버클리, 동지대학교, 베이징대학교의 대학원 커리큘럼이 포함된다.
• 교차 맥락적 등가성: 벤치마크가 규제 명칭이 아닌 추론 능력을 테스트하도록 하기 위해, 중국의 제도적 개념(예: "일문삼증(one-document-three-certificates)")을 미국의 대응 개념(예: 권리 획득 순서)으로 기능적으로 매핑하되, 인지적 요구 사항은 그대로 유지하였다.
• 이중 트랙 평가 프로토콜:
  • 트랙 1 (자동화): 고성능 LLM이 구조화된 과업(기억, 이해, 적용)의 판사 역할을 수행하며, 전문가가 작성한 루브릭에 따라 응답을 점수화하고 사고 사슬(Chain of Thought, CoT)을 분석한다.
  • 트랙 2 (전문가 패널): 5명의 도시 계획 학자 및 실무가 패널이 개방형 추론(분석, 평가)의 깊이, 맥락적 민감성, 전문적 적절성을 평가한다.
  • 보정(Calibration): 두 트랙은 프롬프트 최적화를 통해 정렬되었으며, 구조적 평가와 판단 집약적 평가 사이의 본질적인 인식론적 차이를 고려할 때 수용 가능한 수준인 스피어만 상관계수 $\rho = 0.67$을 달이트했다.

2.3. 평가 대상 모델

본 연구는 Alibaba의 Qwen 생태계, Meta의 Llama, Google의 Gemma가 주를 이루는 22개의 오픈 웨이트 모델과 3개의 독점 API 모델(GPT-4o-mini, Gemini 2.5 Flash, Claude Haiku)을 포함한 총 25개의 LLM을 평가하였다. 오픈 웨이트 모델에 집중한 이유는 재현성과 투명성을 우선시했기 때문이다.

3. 주요 결과

3.1. 비단조적 인지 곡선 (The Non-Monotonic Cognitive Curve)

LLM이 저차원 과업에는 뛰어나고 고차원 과업에는 실패할 것이라는 가정과 달리, UPBench는 비단조적 성능 곡선을 드러냈다:

• **기억(89.6%)**과 **분석(81.8%)**은 높은 성능을 보였다.
• **이해(55.3%)**는 '파멸적 붕괴(catastrophic collapse)'를 보이며, 회상 단계에서 약 34%포인트 급락했다.
• **적용(76.2%)**은 회복되었으나 분석 단계보다는 낮았다.
• **평가(37.9%)**는 예상대로 가장 낮은 성능을 보였다.
  이는 계획의 "저차원" 지식(개념적 이해)이 제도적 및 관할 구역의 맥락 속에 깊이 박혀 있어, 패턴 일반화 전략을 사용하는 데 있어 겉보기에 "고차원"적인 분석적 합성보다 더 어렵다는 것을 나타낸다.

3.2. 지식 영역별 비대칭성

네 가지 기둥에 따른 성능은 아리스토텔레스의 지식 유형론과 일치했다:

• 학제 간 통합 (69.3%): 가장 높은 성능을 보였으며, 모델들은 다양한 문헌을 합성하는 데 탁월했다.
• 계획 거버넌스 (68.8%): 중간 정도의 성능을 보였으며, 사실적 회상에는 정확했으나 적용 단계에서 "규제 환각(regulatory hallucination)"이 발생하기 쉬웠다.
• 도시 계획 원리 (67.6%): 정전적(canonical) 프레임워크에는 강했으나 맥락적 적용에는 약했다.
• 계획 실무 (65.6%): 가장 낮은 성능을 기록했다. 모델들은 상황적, 전략적, 정치적 인식이 필요한 추론에서 어려움을 겪었다.

3.3. 네 가지 인식론적 진단 (실패 모드)

질적 분석을 통해 계산적 복제가 어려운 도시 계획 전문성의 차원을 조명하는 네 가지 체계적 실패 모드를 식별하였다:

1. 규제 환각 (Regulatory Hallucination): 존재하지 않는 특정 규제 요건이나 법적 인용을 만들어내며, 서로 다른 관할 구역의 요소를 혼합하여 그럴듯하지만 사실과 다른 응답을 생성함.
2. 개념적 혼동 (Conceptual Conflation): 이론적 정밀도의 침식. 모델들이 서로 다른 계획 패러다임(예: 중세의 유기적 성장 vs 모더니즘의 기능주의)을 상호 교환 가능한 것으로 취급함.
3. 난제 마비 (Wickedness Paralysis): 규범적 헌신의 후퇴. 상충하는 가치(예: 형평성 vs 재산권)에 직면했을 때, 모델들은 요인들을 철저히 나열하기만 할 뿐 전문적 의사결정에 필요한 가치 판단을 내리기를 거부함.
4. 프로네시스 결핍 (Phronetic Deficit): 상황적 실천 지혜의 부재. 모델들은 지역 사회의 역학, 정치적 실현 가능성, 그리고 계획의 수사와 현장의 실제 사이의 간극에 관한 암묵적이고 경험에 기반한 지식이 부족함.

3.4. 국가 간 제도적 비대칭성

미국과 중국 시나리오 간의 성능 격차는 과업의 난이도보다는 모델의 기원에 의해 매개되었다. 미국 기원 모델은 미국 시나리오에서 상당한 우위(+13.6%)를 보인 반면, 중국 기원 모델은 격차가 거의 없었다(-1.7%). 이는 훈련 데이터의 구성이 역량의 주요 동인임을 시사하며, 공평한 문화 간 성능을 발휘할 수 있는 단일한 "글로벌" 모델이라는 개념에 도전한다.

4. 주요 기여

1. 방법론적 기여: 컴퓨터 과학에서 빌려온 것이 아니라 도시 계획 자체의 평가 전통(계획 품질 평가, 자격 기준)에서 구축된, AI의 계획 역량을 평가하기 위한 최초의 포괄적이고 이론에 기반한 프레임워크인 UPBench를 도입하였다.
2. 이론적 기여: AI의 실패 패턴을 "인식론적 거울"로 사용하여 도시 계획 지식의 구조를 경험적으로 입증하였다. 본 연구는 도시 계획의 전문성이 단순한 기술적 절차가 아니라 프로네시스로 특징지어지는, 불가결하게 제도적이고, 규범적이며, 시간적이고, 관계적인 것임을 확인한다.
3. 실무적 기로: **차등적 위임(differential delegation)**을 위한 프레임워크를 제공함으로써, 계획가와 교육자들이 어떤 과업을 AI에 의해 책임 있게 증강할 수 있는지(예: 문헌 검토, 예비 합성)와 어떤 과업이 불가결한 인간의 판단을 필요로 하는지(예: 규제 해석, 규범적 갈등 해결)를 결정할 수 있는 근거 기반의 가이드를 제공한다.

5. 의의 및 주장

본 논문은 역전된 인지 기울기(AI가 복잡한 분석적 과업보다 단순한 제도적 지식에서 더 어려움을 겪는 현상)가 도시 계획의 전문성이 다른 직업과는 다르게 구조화되어 있음을 드러낸다고 주장한다. 저자들은 계획직의 독특한 가치 제안이 분석적 정교함(AI가 점점 더 잘 수행하는 영역)이 아니라, 통합적 제도적 판단과 프로네시스적 지혜에 있다고 주장한다.

연구는 결론적으로 LLM이 교차 학제적 합성 및 광범위한 분석적 추론을 위한 생산적인 도구로 기능할 수 있지만, 관할 구역 특화된 규제 해석, 규범적 갈등 해결, 맥락 민감적 절차 적용에서는 지속적인 무능력을 보인다고 밝힌다. 따라서 저자들은 도시 계획 교육의 방향을 지식 전달에서 제도적 문해력, 패러다임적 정밀성, 규범적 용기, 그리고 AI 비판적 문해력을 배양하는 방향으로 재설정할 것을 권고한다. 본 연구의 결과는 "인간 참여(human-in-the-loop)"가 단순히 안전 점검 차원이 아니라, 계획적 판단의 정당성을 위한 근본적인 요구사항임을 시사한다. 왜냐하면 계획의 핵심은 계산 그 자체가 아니라 특정 거버넌스 맥락과 공동체에 내재된 형태를 통해 구성되기 때문이다.