기술 요약: ARCHER (실행 가능한 규제 모델을 위한 에이전트 기반 규칙 및 준수 하네스)

1. 문제 정의

빌딩 정보 모델링(BIM)은 산업 기초 클래스(IFC) 스키마를 통해 건축 설계를 의미론적으로 풍부하고 상호 운용 가능한 데이터 모델로 전환시켰습니다. 그러나 이러한 모델에 대한 규정 준수 여부를 검증하는 작업은 여전히 수동적이고 비용이 많이 들며 확장이 불가능한 병목 현상으로 남아 있습니다. 특히 싱가포르와 같이 프로젝트가 수천 개의 규제 규칙을 충족해야 하는 관할 구역에서는 더욱 그러합니다.

기존의 자동화된 준수 검사기(ACC)는 세 가지 주요 한계점을 가집니다:

1. 일반화 능력 부족: 이들은 일반적으로 특정 규칙 세트와 사용 사례에 맞춰 하드코딩되어 있어, 새로운 규제로 적응하기 어렵습니다.
2. 독점적 불투명성: 많은 상용 ACC는 내부 검증 코드를 공개하지 않으므로, 사용자가 자신의 규제 의도가 정확하게 반영되었는지 확인할 수 없습니다.
3. 운용의 모호성: 자연어 규정은 기하학적 측정 방식(예: 2D 선으로 표현된 주차장 부지의 너비를 솔리드(solid) 형태와 비교하여 어떻게 측정할 것인가)에 대해 모호한 경우가 많습니다. 도메인 전문가는 규제 의도는 보유하고 있으나 이를 정형화할 프로그래밍 기술이 부족하며, 개발자는 규칙을 충실히 해석할 도메인 맥락이 부족합니다.

현재의 대규모 언어 모델(LLM) 접근 방식은 일부 장벽을 낮추었으나, 종종 사전 정의된 API나 추출된 메타데이터에 의존하며, 수동 전문가 검토에 필요한 공간적 및 맥락적 추론 능력이 부족합니다. 또한, 광범위한 에이전트 기반 코드 생성 연구에서 발견되는 테스트 주도 피드백 루프의 신뢰성을 갖추지 못했습니다.

2. 방법론: ARCHER 프레임워크

저자들은 ARCHER를 소개합니다. 이는 테스트 주도 방식의 결정론적으로 오케스트레이션된 다중 에이전트 프로그램 합성 하네스입니다. ARCHER의 목표는 규제 "실무 지침(Codes of Practice)"과 전문가가 라벨링한 BIM 모델로부터 감사 가능하고 실행 가능한 Python 준수 검사기를 생성하는 것입니다.

핵심 아키텍처

ARCHER는 두 가지 전문가 작성 아티팩트를 기반으로 작동합니다:

1. 규칙 해석(Rule Interpretation, RI): 규제 로직을 명확한 흐름으로 번역한 평문 문서입니다 (예: 기하학적 계산 방법을 지정하지 않고 무엇이 "통과(pass)", "실패(fail)", 또는 "수동 검사(manual check)"를 구성하는지 정의함).
2. 라벨링된 BIM 모델: 도메인 전문가가 특정 요소에 대해 판정($L = \{PASS, FAIL, ALERT, MANUAL\_CHECK, NA\}$)을 부여한 학습($D_{train}$) 및 테스트($D_{test}$) 쌍입니다.

합성 루프

ARCHER는 세 가지 특화된 에이전트로 구성된 결정론적 다중 에이전트 오케스트레이션(Harness 5)을 채택합니다:

1. Planner (플래너): RI를 바탕으로 코딩 계획을 초안합니다.
2. Generator (제너레이터): 계획을 구현하기 위해 Python 코드(main.py)를 작성하거나 수정합니다.
3. Evaluator (이벨류에이터): 생성된 코드를 $D_{train}$에 대해 실행하고, **합집합 정확도(Union Accuracy, $A_\cup$)**를 계산하며, 피드백을 제공합니다.

시스템은 최대 30회까지 반복합니다. 만약 이벨류에이터가 코딩 버그가 아닌 로직 계획에 기인한 실패를 식별하면, 제어권을 다시 플래너에게 보내는 Replan(최대 2회)을 트리거합니다. 루프는 생성된 검사기가 학습 세트에 대해 완벽한 일치($A_\cup = 1.0$)를 달성하거나 반복 횟수 제한에 도달할 때 종료됩니다. 최종 검사기는 분리된 테스트 세트($D_{test}$)에서 한 번 더 평가됩니다.

평가 분류 체계

에이전트 합성의 효능을 특성화하기 위해, 저자들은 단순한 수준부터 정교한 수준까지 6가지 하네스 분류를 평가했습니다:

• H0 (Blind): 단일 에이전트, 학습 데이터 접근 불가.
• H1 (BIM Model Aware): 단일 에이전트, 모델에 대한 실행만 수행.
• H2 (Full TDD): 전체 테스트 주도 피드백을 갖춘 단일 에이전트.
• H3 (Planning Step): 명시적 계획 단계를 포함한 단일 에이전트.
• H4 (Multi-Agent, Non-Deterministic): LLM이 오케스트레이션하는 파이프라인.
• H5 (Multi-Agent, Deterministic - ARCHER): Planner, Generator, Evaluator를 오케스트레이션하는 고정된 제어 루프.

3. 주요 기여

1. 에이전트 합성의 첫 적용: 저자들은 자동화된 빌딩 준수 검사에 에이전트 기반 프로그램 합성을 적용한 첫 사례라고 주장합니다.
2. ARCHER 하네스: 계획, 생성 및 평가를 오케스트레이션하여 검사 가능하고 실행 가능한 준수 검사기를 생성하는 새로운 다중 에이전트 아키텍처를 제시합니다.
3. 포괄적인 비용-정확도 분석: 다양한 배포 계층(제3자, 프라이빗 클라우드, 온프레미스)에 걸친 네 가지 백본 모델(프런티어 API부터 온프레미스 오픈 웨이트 모델까지)을 대상으로 한 연구를 수행했습니다.
4. 새로운 벤치마크 데이터셋: 기하학 및 메타데이터의 분포 외(OOD) 변동성에 대한 견고성을 테스트하기 위해 설계된, 10개의 실제 규제 요구사항과 전문가 라벨링된 BIM 모델 쌍의 데이터셋을 구축했습니다.

4. 실험 결과

연구는 네 가지 백본 모델(GPT-5.5 (Frontier API), GPT-5.4 Mini (Budget API), DeepSeek-v4-flash (Self-hosted), GPT-OSS-120B-Q4KM (On-premise))에 대해 6가지 하네스를 평가했습니다.

정확도 결과

• ARCHER (Harness 5)가 일관되게 우수함: 모든 백본 모델에서 가장 높은 합집합 정확도를 달성했습니다.
• 유의미한 개선: ARCHER는 단순 단일 패스 프롬프팅 베이스라인(H0) 대비 평균 합집합 정확도를 82% 향상시켜, 전체 평균을 0.468에서 0.850으로 높였습니다.
• 결정론적 vs. LLM 오케스트레이션: 결정론적 제어 루프(H5)는 모든 모델에서 LLM 오케스트레이션 파이프라인(H4)보다 우수한 성능을 보였으며, 특히 스스로 서브 에이전트를 순서화하는 데 어려움을 겪는 약한 백본 모델에서 두드러졌습니다.
• 피드백 구조: 단일 에이전트에게 전체 테스트 주도 피드백을 노출하는 것(H2)은 오픈 웨이트 모델의 성능을 저하시켰습니다. 밀집된 점수 피드백을 타겟팅된 코드 수정으로 전환하기 위해서는 구조화된 다중 에이전트 하네스가 필요했습니다.

비용 및 효율성

• 토큰 소비량: 토큰 사용량은 모델의 역량과 반비례하여 규모가 결정되었습니다. 약한 모델(예: GPT-OSS-120B)은 반복적인 정제 루프로 인해 (H5에서 GPT-5.5보다) 최대 223.7배 더 많은 입력 토큰을 소비했습니다.
• 비용-정확도 트레이드오프:
  • 하네스 정교함 > 모델 가격: 모델 제품군 내에서 하네스 수준을 높이는 것이 더 비싼 백본 모델으로 교체하는 것보다 더 높은 수익을 가져왔습니다.
  • 데이터 주권: ARCHER 하네스 하에서의 셀프 호스팅 오픈 웨이트 모델(DeepSeek-v4-flash)은 프런티어 API 정확도의 **97.8%**를 달면서 비용은 약 4분의 1 수준에 불과했습니다.
  • 파레토 최적(Pareto Frontier): 가장 비용 효율적인 구성은 ARCHER 하네스를 사용하는 셀프 호스팅 가능 모델들 사이에서 발견되었으며, 이는 데이터 주권이 보장되는 준수 검사가 실용적임을 시사합니다.

시나리오 난이도

• 관계적 또는 위상적 추론(예: 화재 탈출 경로, 하수 연결성)을 요구하는 요구사항은 단순 치수 체크보다 합성하기가 훨씬 더 어렵고 비용이 많이 들었습니다.
• 프런티어 모델(GPT-5.5)은 다른 모델들이 실패한 가장 어려운 시나리오(예: R5, R10)를 해결한 반면, 셀프 호스팅된 DeepSeek 모델은 10개 요구사항 중 7개에서 프런티어 모델과 대등하거나 이를 능가하는 성능을 보였습니다.

5. 의의 및 주장

본 논문은 ARCHER를 투명하고, 적응 가능하며, 확장 가능한 준수 검사를 향한 단계로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

• 준수의 민주화: 개방적이고 검사 가능한 Python 코드를 생성함으로써, 독점적 ACC의 "블랙박스" 특성을 제거하여 도메인 전문가가 로직을 감사할 수 있도록 합니다.
• 온프레미스 솔루션의 타당성: 정교한 에이전트 하네스를 사용한다면, 엄격한 데이터 주권 요구사항(예: 정부 또는 국방)을 가진 조직이 프런티어 모델 수준의 정확도를 달성할 수 있음을 입증합니다.
• 인간-에이전트 협업: 시스템은 전문가가 의도(RI를 통해)를 정의하고 에이전트가 계산적 구현을 담당하는 협업 도구로 프레임화됩니다. 이는 규제 의도와 실행 가능한 로직 사이의 간극을 메워줍니다.

한계점

저자들은 ARCHER가 완전히 자율적이지 않다는 점을 인정합니다. 이는 전문가가 규칙 해석 문서를 작성하고 학습 데이터를 라벨링하는 사전 노력이 필요합니다. 또한, 시스템은 규칙을 개별적으로 취급하며 규칙 간의 의존성을 모델링하지 않고, BIM 스키마의 기하학적 한계 내에 머물러 있습니다(따라서 모호한 경우를 위한 MANUAL_CHECK가 포함됨). 향れて 연구로는 시맨틱 지식 그래프를 통한 규칙 의존성 해결과 비결정적 기하학적 체크를 위한 시각-언어 모델(VLM) 통합이 제안되었습니다.