A Novel Multi-Agent Architecture to Reduce Hallucinations of Large Language Models in Multi-Step Structural Modeling

이 논문은 대규모 언어 모델의 환각 현상과 오류 누적을 해결하기 위해 OpenSeesPy 기반의 다중 에이전트 아키텍처를 제안하여 다단계 구조 모델링 및 해석의 정확성과 확장성을 입증했습니다.

핵심

이 논문은 **"인공지능 (AI) 이 건축물을 설계할 때 자주 하는 실수를 어떻게 고쳤는가?"**에 대한 이야기입니다.

마치 **고급 요리사 (LLM)**가 레시피를 보고 요리를 하려는데, 레시피가 너무 길어지자 "소금이 뭐였지?", "계란은 몇 개였지?"라고 혼란을 겪다가 요리를 망쳐버리는 상황을 상상해 보세요. 이 논문은 그 문제를 해결하기 위해 여러 명의 전문가가 팀을 이뤄 일하는 새로운 방식을 제안합니다.

핵심 내용을 쉽게 풀어서 설명해 드릴게요.

---

1. 문제: "혼란스러운 AI 요리사"

기존의 인공지능 (GPT 나 Gemini 같은 거대 언어 모델) 은 글을 읽고 이해하는 능력은 뛰어나지만, **매우 긴 작업 (예: 복잡한 건물을 설계하는 것)**을 할 때 자주 실수를 합니다.

• 할루시네이션 (Hallucination): AI 가 사실과 다른 내용을 지어내거나, "아까 그 숫자가 뭐였지?"라고 헷갈려서 잘못된 코드를 작성합니다.
• 비효율: 한 명에게 모든 일을 시키다 보니, 작업이 길어질수록 시간이 너무 오래 걸리고, 건물이 커지면 아예 작업을 포기해버립니다 (시간 초과).

2. 해결책: "전문가 팀 (멀티 에이전트)"

이 연구팀은 **"한 명의 천재에게 모든 일을 시키지 말고, 각자 특기가 있는 전문가 팀을 꾸리자"**라고 생각했습니다. 마치 건축 현장을 운영하듯 말입니다.

이 새로운 시스템은 4 개의 주요 부서 (모듈) 로 나뉩니다:

① 기획팀 (분석 및 계획)

• 역할: 사용자가 "3 층짜리 건물을 지어줘"라고 말하면, 이를 구체적인 숫자와 규칙으로 바꿔줍니다.
• 비유: 건축 설계사가 "어떤 건물을 지을지" 구상하고, "몇 층, 몇 칸으로 나눌지" 계획을 세우는 역할입니다.
• 특징: 복잡한 추론이 필요하므로 가장 똑똑한 AI(GPT-OSS 120B) 가 담당합니다.

② 구조팀 (기하학적 조립) - 여기가 핵심!

• 역할: 건물의 뼈대 (기둥과 보) 를 실제로 만듭니다.
• 비유: 현장 감독과 기술자가 나뉘어 일을 합니다.
  • 기둥 담당 (Node Agent): "여기에 기둥을 세우고, 높이를 5m 로 해."
  • 보 담당 (Element Agent): "그 기둥들을 연결하는 보를 설치해."
• 혁신: 기존에는 한 사람이 기둥과 보를 동시에 만들다가 헷갈렸지만, 이 시스템은 두 명이 동시에 (병렬로) 일합니다. 그래서 실수가 줄어들고 속도도 빨라집니다.

③ 하중팀 (부하 통합)

• 역할: 건물에 가해지는 무게 (사람, 바람, 눈 등) 를 계산해 넣습니다.
• 비유: 물리 선생님이 "이 층에는 10kg, 저 층에는 50kg 의 하중이 걸려"라고 정확히 지시합니다.

④ 번역팀 (코드 변환)

• 역할: 위의 모든 계획을 컴퓨터가 이해할 수 있는 프로그램 코드 (OpenSeesPy) 로 바꿉니다.
• 비유: 통역사가 "기둥 5m, 보 6m"라는 계획을 컴퓨터 언어로 번역합니다. 이 작업은 규칙이 명확하므로 조금 더 가볍고 빠른 AI(Llama) 가 담당합니다.

3. 왜 이 방식이 더 좋은가요?

• 실수 방지 (체크포인트): 각 단계가 끝날 때마다 **"잠깐, 계획대로 다 했나?"**라고 확인하는 과정을 거칩니다. 만약 실수가 발견되면 바로 다시 하도록 합니다. (마치 건축 중간에 "이 기둥이 기울었네? 다시 세우자"라고 하는 것과 같습니다.)
• 속도 향상: 한 명이 모든 일을 하는 대신 여러 명이 나누어 하므로, 작업 시간이 약 85% 단축되었습니다. (예: 15 분 걸리던 일이 2 분 20 초로 줄어듦)
• 큰 건물도 가능: 기존 방식은 건물이 조금만 커져도 "시간이 너무 걸려서 포기"했지만, 이 팀 방식은 10 층 이상의 큰 건물도 잘 다룹니다.

4. 실험 결과: "완벽에 가까운 성과"

연구팀은 20 가지 다른 건물 설계 문제를 10 번씩 반복해서 테스트했습니다.

• 결과: 20 개 중 18 개는 100% 완벽하게, 나머지 2 개도 90% 이상 성공했습니다.
• 비교: 기존 방식이나 다른 유명한 AI 들은 60%~37% 만 성공했을 정도로, 이 새로운 팀 방식이 압도적으로 뛰어났습니다.

5. 재미있는 에피소드: "건축학과 학생들의 테스트"

이 시스템은 건축학을 전공하지 않은 일반 학생들에게도 테스트했습니다.

• 학생 A 는 "3 칸에 3 층"이라고 간단히 말했고,
• 학생 B 는 "그리드 라인 0, 9, 18..."처럼 전문 용어를 섞어 말했고,
• 학생 C 는 "3x3 정사각형 모양"이라고 비유적으로 말했습니다.
• 결과: 서로 다른 말투와 표현을 썼지만, 시스템은 모두 100% 정확한 설계도를 만들어냈습니다. 즉, 사용자가 어떻게 말하든 AI 가 알아서 핵심을 파악해낸다는 뜻입니다.

요약

이 논문은 **"AI 가 혼자 모든 걸 하려다 망치는 대신, 각자 잘하는 일을 맡은 팀을 꾸려서 건축 설계 같은 복잡한 작업을 자동화했다"**는 내용입니다.

이 기술은 앞으로 건축가나 엔지니어가 복잡한 계산 없이, 말로만 건물을 설계하면 AI 가 바로 안전하고 정확한 설계도를 만들어주는 미래를 가능하게 할 것입니다. 마치 "내 말대로 집을 지어줘"라고 말하면, AI 가 설계부터 시공 계획까지 완벽하게 해주는 초고급 건축 비서가 생긴 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 구조 분석은 건축 및 토목 공학의 핵심이며, OpenSees, SAP2000 등 유한 요소 모델링 (FEM) 소프트웨어를 사용하여 수행됩니다. 최근 대형 언어 모델 (LLM) 은 이러한 소프트웨어를 자동화하는 에이전트로 활용되고 있습니다.
• 문제점: 기존 LLM 기반 에이전트들은 다단계 (multi-step) 구조 모델링 작업에서 다음과 같은 한계를 보였습니다.
  1. 환각 (Hallucination) 및 오류 누적: 긴 시퀀스 작업 과정에서 LLM 이 잘못된 정보를 생성하거나 (환각), 오류가 단계별로 누적되어 유효하지 않은 구조 모델을 생성합니다.
  2. 비효율성: 순차적 (sequential) 아키텍처는 에이전트 간 병목 현상으로 인해 추론 시간이 매우 길어집니다.
  3. 확장성 부족: 구조물이 복잡해지거나 규모가 커지면 (예: 7 개 이상의 스패너), API 타임아웃으로 인해 작업이 실패합니다.
  4. 정량적 신뢰성 부족: 일반 LLM 은 정성적 지식은 풍부하지만, 구조 계산에 필요한 정량적 정확도가 부족합니다.

2. 제안된 방법론 (Methodology)

저자들은 OpenSeesPy 를 기반으로 한 새로운 멀티 에이전트 아키텍처를 제안하여 위 문제들을 해결했습니다. 이 아키텍처는 네 가지 주요 모듈로 구성되며, 각 모듈은 특정 LLM 백본을 활용합니다.

A. 아키텍처 구성 요소

1. 분석 및 계획 (Analysis and Planning):

   • Problem Analysis Agent: 사용자의 자연어 설명에서 기하학적 파라미터, 경계 조건, 하중, 재료 속성 등을 추출하여 구조화된 JSON 파일로 변환합니다.
   • Construction Planning Agent: 추출된 정보를 바탕으로 프레임 조립을 위한 단계별 계획 (Bay-by-Bay, Story-by-Story) 을 수립합니다.
   • 체크포인트: 계획의 일관성 (최대 스패너 수, 총 층수 등) 을 검증하고 오류 시 재생성을 유도합니다.
   • 사용 모델: 복잡한 추론이 필요한 GPT-OSS 120B.

2. 기하학적 조립 (Geometry Assembly):

   • Node Agent & Element Agent: 두 에이전트가 **병렬 (Parallel)**로 작동하여 노드 좌표/경계 조건과 요소 연결/유형을 동시에 생성합니다.
   • Connectivity Mapping: 생성된 좌표 정보를 OpenSeesPy 구문에 맞는 노드 ID 연결로 변환하는 결정론적 Python 함수를 사용합니다.
   • 체크포인트: 중복 노드/요소, 매칭되지 않는 좌표 등을 검증하여 기하학적 일관성을 보장합니다.
   • 사용 모델: GPT-OSS 120B.

3. 하중 통합 (Load Integration):

   • Load Assignment Agent: 추상적인 하중 설명을 OpenSeesPy 문법에 맞는 구조적 구성 요소 (노드 또는 요소) 에 매핑합니다.
   • JSON File Compiler: 모든 정보를 통합된 JSON 파일로 합칩니다.
   • 사용 모델: 정보 매핑 및 지시 따름에 강점이 있는 Llama-3.3 70B Instruct Turbo.

4. 코드 번역 (Code Translation):

   • Geometry Code Translator: 기하학적 정보를 OpenSeesPy 코드 블록으로 변환합니다.
   • Complete Code Generator: 기하 코드, 하중 정의, 모델 설정 (시간 계열, 패턴 등) 을 통합하여 실행 가능한 전체 스크립트를 생성합니다.
   • 사용 모델: Llama-3.3 70B Instruct Turbo.

B. 핵심 전략

• 이중 백본 LLM 전략: 복잡한 추론 작업에는 GPT-OSS 120B 를, 단순한 매핑/번역 작업에는 Llama-3.3 70B 를 사용하여 각 모델의 강점을 극대화하고 비용을 절감했습니다.
• 병렬 처리 및 체크포인트: 순차적 처리의 비효율성을 해결하기 위해 병렬 작업을 도입하고, 중간 단계에서 오류를 탐지하여 재생성하는 루프를 도입했습니다.

3. 주요 기여 (Key Contributions)

1. 환각 감소 및 정확도 향상: 다단계 구조 모델링에서 LLM 의 환각을 효과적으로 줄여, 복잡한 프레임 구조에서도 높은 정확도를 달성했습니다.
2. 효율성 및 확장성 개선: 순차적 아키텍처 대비 추론 시간을 획기적으로 단축 (최대 85% 감소) 했으며, 대규모 구조물 (10 개 스패너, 10 층) 에도 확장 가능하도록 설계되었습니다.
3. 다양한 언어 스타일 적응: 공학 전문가뿐만 아니라 건축학도 등 비전문가의 다양한 자연어 표현에서도 정확한 모델을 생성할 수 있음을 입증했습니다.
4. 개방형 웹 애플리케이션 배포: 제안된 아키텍처를 civilbot.netlify.app 을 통해 공개하여 실제 적용 가능성을 검증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 20 개의 다양한 프레임 구조 문제 (3 개 및 5 개 스패너, 1~5 층) 로 구성된 벤치마크.
• 정확도:
  • 제안된 아키텍처는 20 개 사례 중 18 개에서 100% 정확도, 나머지 2 개에서 90% 정확도를 달성했습니다.
  • 기존 순차적 아키텍처는 복잡한 구조에서 60% 까지 정확도가 떨어졌으며, 일반 LLM(Gemini 2.5 Pro, GPT-4o) 은 37% 이하의 낮은 성능을 보였습니다.
• 성능 비교 (단일 LLM vs 멀티 에이전트):
  • 단일 LLM 만을 사용하는 대안들은 특정 구조 유형에서 심각한 오류를 보였습니다 (예: GPT 는 번역 단계에서, Llama 는 추론 단계에서 환각 발생).
  • 제안된 모델 혼합 전략이 모든 하위 작업에서 가장 높은 안정성을 입증했습니다.
• 효율성:
  • 평균 실행 시간: 순차적 아키텍처 (269949 초) 대비 제안 아키텍처 (75194 초) 로 약 85% 단축.
  • 대규모 구조물 (10 층, 10 스패너) 에서도 548 초 내에 처리 가능.
• 비용: 토큰 소비 분석 결과, 문제당 약 0.013~0.023 달러의 매우 낮은 비용으로 고품질 분석이 가능함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 을 활용한 구조 공학 자동화의 새로운 패러다임을 제시합니다.

• 신뢰성 확보: 단순한 텍스트 생성을 넘어, 엄격한 공학적 계산이 필요한 분야에서 LLM 의 신뢰성을 확보하기 위한 멀티 에이전트 및 체크포인트 메커니즘의 유효성을 입증했습니다.
• 실용성: 복잡한 구조 모델링의 진입 장벽을 낮추어, 비전문가도 자연어로 구조 분석을 수행할 수 있게 하여 교육 및 실무 현장에서의 활용도를 높였습니다.
• 미래 방향: 현재는 선형 탄성 정적 해석에 국한되어 있으나, 비선형 해석 및 동적 하중 (지진, 풍하중) 으로 확장될 경우 구조 설계 워크플로우의 혁신을 이끌 것으로 기대됩니다.

요약하자면, 이 논문은 LLM 의 환각 문제를 해결하고 대규모 구조 모델링을 자동화하기 위해, 병렬 처리와 이중 LLM 전략을 결합한 고도로 최적화된 멀티 에이전트 아키텍처를 제안하고, 이를 통해 높은 정확도, 빠른 속도, 낮은 비용을 동시에 달성했음을 증명했습니다.