Evidence Constrained Agentic Retrieval Augmented Generation for Substation Civil Engineering Preliminary Design Documents in a Single Project Study
본 논문은 규제 인식 검색, 충돌 해결 및 이중 검증 루프를 통합하여 기존 RAG 시스템을 능가함으로써 변전소 토목 공학 예비 설계 초안 작성의 신뢰성, 일관성 및 효율성을 크게 향상시키는 증거 제약 에이전트 기반 검색 증강 생성 프레임워크인 EC-ARAG를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
대규모 인프라의 세계에서 예비 설계 문서는 개념을 실행 가능한 현실로 바꾸는 청사진입니다. 변전소의 경우, 이 텍스트 중심의 보고서는 프로젝트의 세부 사항, 엄격한 정부 규제, 표준 엔지니어링 관행, 그리고 과거 프로젝트로부터 얻은 교훈을 하나의 일관된 서사로 엮어내야 합니다. 도로의 폭부터 기초의 깊이에 이르기까지 모든 수치는 문서 전체에서 일관되어야 하며, 모든 주장은 구체적이고 최신인 규칙에 의해 뒷받침되어야 합니다. 수십 년 동안 엔지니어들은 수백 페이지에 달하는 표준과 과거 보고서를 수동으로 교차 참조하며 이러한 문서를 작성해 왔으며, 이 과정은 느리고 인간의 오류가 발생하기 쉬우며 완벽한 일관성을 유지하기 어렵습니다.
인공지능의 부상은 잠재적인 지름길을 제시했습니다. 고급 챗봇의 기반이 되는 기술인 대규모 언어 모델은 유창한 기술적 산문을 작성하고 복잡한 지시를 따를 수 있습니다. 그러나 엔지니어링에 적용될 때, 이 모델들은 결정적인 결함에 직면합니다. 바로 모델이 내부 기억에 의존한다는 점인데, 이는 정보가 구식일 수 있고, 사실을 환각(hallucinate)하거나, 특정 건물 유형에 적용되는 규칙과 그렇지 않은 규칙을 구분하지 못할 수 있다는 것을 의미합니다. 단순히 AI에게 "설계를 작성하라"고 요청하는 것은 전문적으로 들리지만 법적으로나 물리적으로는 유효하지 않은 결과를 초래할 수 있습니다. 이를 해결하기 위해 연구자들은 AI가 글을 쓰기 전에 정보를 찾아보도록 강제하는 방식인 '검색 증강 생성(retrieval-augmented generation)' 기법을 개발했습니다. 하지만 이러한 시스템조차도 찾은 정보가 프로젝트의 특정 조건과 모순되거나, 구식이거나, 부적절할 경우 어려움을 겪습니다.
이제 국가전망(State Grid) 상하이 전기력 설계 유한공사의 엔지니어 팀은 변전소 토목 공학이라는 고도의 정밀함이 요구되는 환경에 특화된 더 정교한 접근 방식을 도입했습니다. 그들은 단순한 작가라기보다 엄격한 다단계 편집자처럼 작동하는 EC-ARAG라는 시스템을 개발했습니다. 이 시스템은 단순히 텍스트를 검색하여 AI에 전달하는 대신, 설계 작업을 작고 검증 가능한 주장 단위로 분해합니다. 콘크리트 벽의 요구 두께나 배수관의 폭과 같이 시스템이 생성하는 모든 개별 문장에 대해, 시스템은 먼저 해당 근거가 특정 프로젝트에 유효한지, 규칙의 출처가 권위 있는지, 그리고 그 규칙이 문서의 다른 부분과 충돌하는지를 확인합니다.
연구진은 특정 변전소 프로젝트의 예비 설계를 포함한 실제 시나리오를 통해 이 시스템을 테스트했습니다. 그들은 시스템에 36개의 국가 및 산업 표준, 12개의 기업 특정 규칙, 18개의 전형적인 설계 가이드, 64개의 과거 프로젝트 이력 설계 문서를 포함한 방대한 지식 라이브러리를 입력했습니다. 그런 다음 시스템은 전체 토목 공학 보고서를 섹션별로 초안을 작성하도록 시도했습니다. 한 단락을 생성하고 바로 넘어가는 일반적인 AI 도구와 달리, 이 시스템은 두 개의 루프(loop)로 작동합니다. 첫 번째 루프는 무엇을 써야 할지 계획하고 적절한 근거를 찾아내며, 쓸모없거나 특정 현장 조건에 적용되지 않는 규칙들을 걸러냅니다. 두 번째 루프는 텍스트를 작성한 후 즉시 자신의 작업을 검토합니다. 만약 시스템이 어떤 주장이 근거가 부족하거나, 이전 섹션과 모순되거나, 구식 표준을 사용하고 있음을 발견하면, 시스템은 앞으로 나아가기 전에 해당 문장을 멈추고 수정합니다.
실험 결과는 매우 유의미했습니다. 이 시스템은 적절하고 적용 가능한 규정을 94.1%의 확률로 성공적으로 검색해 냈는데, 이는 무관하거나 오래된 조항을 검색하는 경우가 많았던 다른 방법들에 비해 눈에 띄는 개선입니다. 더 중요한 것은, 시스템이 생성한 엔지니어링 주장 중 95%가 확실한 근거에 의해 뒷받침되었으며, 근거가 없거나 모순되는 문장인 '불안전한 주장(unsafe claims)'의 비율을 단 3.4%로 줄였다는 점입니다. 가장 놀라운 점은 시스템의 일관성 유지 능력이었습니다. 건물의 이름이나 도로의 폭이 열 곳의 서로 다른 섹션에 등장할 수 있는 긴 문서에서, 이 시스템은 이러한 매개변수를 97%의 확률로 일관되게 유지했으나, 다른 방법들은 이러한 세부 사항이 의도치 않게 변하거나 흐려지는 경우가 많았습니다.
시스템이 이러한 검사와 수정을 수행하기 위해 더 많은 컴퓨터 처리 시간을 필요로 했음에도 불구하고, 결과적으로는 전체적인 시간을 절약했습니다. 생성된 초안이 훨씬 더 깨끗하고 정확했기 때문에, 인간 엔지니어들이 텍스트를 검토하고 수정하는 데 드는 시간이 31% 감소했습니다. 문서를 완성하는 총 시간은 차세대 자동화 방법보다 21% 단축되었습니다. 또한 본 연구는 시스템이 여전히 인간의 도움이 필요한 부분을 강조했습니다. 시스템은 도로 경사도나 배수 방향과 같이 물리적 기하학에 크게 의존하는 섹션에서 가장 어려움을 겪었는데, 이는 시스템이 텍스트로만 작업하며 현장의 실제 지도나 3D 모델에 접근할 수 없었기 때문입니다. 중요한 정보가 누락된 경우, 시스템은 임의로 해결책을 만들어내는 대신 동작을 멈추고 인간 엔지니어에게 문제를 알리는 법을 배웠으며, 이러한 행동은 추측하는 것보다 더 안전한 것으로 입증되었습니다.
이 연구는 복잡하고 규제가 많은 과업에 있어 인공지능의 목표가 엔지니어의 판단을 대체하는 것이 아니라, 지치지 않고 빈틈없이 감시하는 조력자가 되는 것임을 보여줍니다. 설계 과정을 단일한 생성 행위가 아닌 일련의 작고 검증된 단계로 취급함으로써, 연구진은 기계가 정보 수집과 일관성 확인이라는 힘든 작업을 처리할 수 있음을 보여주었습니다. 이 시스템은 건물을 승인할 수 있는 자율적인 설계자를 표방하는 것이 아니라, 자신이 생성하는 초안이 추적 가능하고, 일관되며, 올-바른 규칙에 근거하도록 보장하는 강력한 도구로서 기능합니다. 이를 통해 인간 전문가는 최종 결정과 텍스트만으로는 포착할 수 없는 복잡한 물리적 실체에 더욱 집중할 수 있게 됩니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.