Research and Prototyping Study of an LLM-Based Chatbot for Electromagnetic Simulations

Each language version is independently generated for its own context, not a direct translation.

🏗️ 1. 문제 상황: "건축 설계도 그리기가 너무 어려워요!"

전통적으로 전자기 시뮬레이션을 하려면, 엔지니어는 마치 정교한 건축 설계도를 직접 그려야 했습니다.

전선들이 어디에 있는지, 모양은 어떤지, 전기는 어떻게 흐르는지 등을 하나하나 코딩으로 입력해야 했습니다.
이 과정은 매우 지루하고, 실수하기 쉬우며, 시간이 많이 걸립니다. (예: "전선 100 개를 원형으로 배치하고, 간격을 5mm 로 맞추고...")

🤖 2. 해결책: "건축가 AI 비서 (챗봇)"

이 연구팀은 구글의 '제미니 (Gemini)'라는 AI를 고용해서, 사용자가 "전선들을 원형으로 배치해 줘"라고 말만 하면, AI 가 알아서 설계도 (코드) 를 그려주고, 건물을 짓고 (시뮬레이션 실행), 결과도 보여주는 시스템을 만들었습니다.

이 시스템은 세 가지 핵심 능력을 가지고 있습니다.

① "말만 하면 그림을 그려줘" (기하학적 배치)

비유: 사용자가 "여기서 저기까지 전선들을 100 개씩 줄지어 세워줘"라고 말하면, AI 는 그 말대로 전선들의 위치를 계산해서 **2D 지도 (메쉬)**를 자동으로 그립니다.
결과: 복잡한 기하학적 모양 (원, 사각형, 나선형 등) 을 코딩 없이 자연어로만 만들어낼 수 있습니다.

② "원하는 부분을 확대해서 보여줘" (맞춤형 분석)

비유: 건물이 지어졌으니, 이제 "1 층의 전기 요금 (손실) 을 계산해 줘"라고 하면, AI 는 특정 층만 골라서 계산하는 전용 프로그램을 자동으로 짭니다.
기술적 내용: 시뮬레이션 도구 (GetDP) 의 고유 언어를 AI 가 알아서 작성합니다. 보통 이 언어는 전문가만 알지만, AI 가 예시를 보고 따라 하며 코드를 만들어냅니다.

③ "결과를 쉽게 요약해 줘" (자연어 보고서)

비유: 시뮬레이션이 끝나면, AI 는 복잡한 그래프와 숫자 대신 **"전류가 표면에 몰려서 (스킨 효과) 전선이 뜨거워지고 있어요"**라고 사람이 읽기 쉬운 보고서를 써줍니다.
효과: 공학 지식이 없는 사람도 결과를 이해할 수 있게 됩니다.

⚠️ 3. 주의할 점: "AI 가 가끔 망가뜨릴 수도 있어요"

이 시스템은 완벽하지 않습니다. 연구팀은 AI 가 실수하는 경우를 **'문법 오류 (Syntax)'**와 **'의미 오류 (Semantics)'**로 나누어 분석했습니다.

문법 오류: AI 가 코드를 작성할 때 괄호를 빠뜨리는 등, 컴퓨터가 "이건 못 읽겠어"라고 하는 경우.
의미 오류: 코드는 잘 돌아가는데, 사용자의 의도와 다르게 전선을 배치하거나, 물리 법칙을 무시한 엉뚱한 결과를 내는 경우.
- 예: "사각형의 5 개의 꼭짓점에 전선을 배치해 줘"라고 했을 때, 사각형은 꼭짓점이 4 개인데 AI 가 5 개를 만들어버리는 '환각 (Hallucination)' 현상.

📊 4. 실험 결과: "어떤 AI 가 가장 잘할까?"

연구팀은 다양한 AI 모델들을 시험해 보았습니다.

초급 모델: 복잡한 명령을 주면 바로 멈춰버렸습니다.
고급 모델 (Gemini 2.5 Flash): 가장 잘했습니다. 복잡한 전선 배치나 특수한 분석 명령도 대부분 성공적으로 수행했습니다.
시간과 비용: 전문가가 2~8 시간 걸려서 하던 일을, 이 AI 시스템은 몇 초 만에 해결했습니다. 비용도 매우 저렴합니다.

🚀 5. 결론: "미래는 '대화'로 설계하는 시대"

이 연구의 핵심 메시지는 다음과 같습니다.

"더 이상 복잡한 코딩을 외울 필요 없습니다. AI 와 대화하듯 원하는 결과를 말하면, AI 가 그걸 실행 가능한 시뮬레이션으로 바꿔줍니다."

물론 아직 AI 가 100% 신뢰할 수는 없으므로, 최종 결과는 사람이 확인해야 하지만, 시작 단계 (설계 및 실행) 의 시간을 획기적으로 줄여주어 엔지니어들이 더 창의적인 문제를 풀 수 있게 도와줍니다.

한 줄 요약:

"복잡한 전자기 시뮬레이션도 이제 '챗봇'과 대화하듯 명령만 내리면, AI 가 알아서 설계하고 계산하고 설명해 줍니다."

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 정의 (Problem)

기존 연구의 한계: 전자기 경계값 문제 (BVP) 를 해결하기 위한 머신러닝 (ML) 방법 (예: 물리 정보 신경망, 신경 연산자 등) 에 대한 연구는 활발하지만, 이러한 방법들은 주로 수치 해법 자체를 대체하거나 가속화하는 데 초점을 맞추고 있습니다.
본 연구의 목표: 수치 해법 자체를 변경하는 것이 아니라, 전자기 시뮬레이션 모델을 설정 (Setup) 하는 데 소요되는 시간을 단축하는 데 있습니다. 즉, 사용자가 복잡한 수치 시뮬레이션 소프트웨어 (메시 생성, 솔버 설정, 후처리 등) 를 직접 코딩하거나 설정하는 대신, 자연어 프롬프트를 통해 AI 가 자동으로 시뮬레이션 모델을 생성하고 실행할 수 있도록 하는 것을 목표로 합니다.
연구 격차: 전자기학 분야에서 시뮬레이션 모델 생성을 위한 AI 지원 (특히 코드 생성 및 실행 중심) 에 대한 연구는 CFD(전산유체역학) 분야에 비해 매우 드뭅니다.

2. 방법론 (Methodology)

본 연구는 구글의 멀티모달 대규모 언어 모델 (LLM) 인 Google Gemini-2.0-Flash를 기반으로 한 챗봇 워크플로우를 제안합니다.

핵심 도구:
- Gmsh: 오픈소스 유한요소 메시 생성기 (Python API 를 통해 제어).
- GetDP: 오픈소스 유한요소 솔버 (도메인 특화 언어인 DSL 로 작성된 .pro 파일 실행).
- Python: 워크플로우 구성 요소 간의 조정 및 자동화 레이어.
물리 모델: 2 차원 와전류 (Eddy Current) 문제.
- 원형 단면을 가진 도체들이 무작위 위치에 배치된 경우를 가정.
- 수정된 $A-v$ (자기 벡터 포텐셜 - 전기 스칼라 포텐셜) 형식을 사용.
- 시간 조화 (Time-harmonic) 맥스웰 방정식을 기반으로 함.
워크플로우 구조:
1. 입력: 사용자가 자연어 프롬프트로 도체의 수, 배치 패턴 (원형, 격자, 곡선 등), 후처리 요구사항 등을 입력.
2. LLM 처리: 시스템 프롬프트 (작업 설명, 규칙, 예시 포함) 와 사용자 프롬프트를 결합하여 LLM 에 전달.
3. 코드 생성: LLM 이 두 가지 코드를 생성:
  - Python 코드: 도체 좌표 리스트를 생성하고 Gmsh 를 호출하여 메시 (.msh) 를 생성.
  - GetDP 코드 (DSL): 솔버 설정 및 후처리 (Ohmic 손실 밀도, 자기 에너지 밀도 등) 를 정의하는 .pro 파일.
4. 실행: Python 이 생성된 코드를 실행하여 시뮬레이션을 수행하고 결과를 시각화.
5. 출력: 시뮬레이션 결과에 대한 텍스트 요약 및 시각화 제공.

3. 주요 기여 및 아키텍처 확장 (Key Contributions & Extensions)

본 연구는 기본 워크플로우를 넘어 다음과 같은 기능적 확장을 통해 챗봇의 자율성을 높였습니다.

3.1 Python 코드 추론:
- 사용자의 자연어 설명 (예: "원형 패턴으로 12 개의 도체 배치") 을 기반으로 도체 좌표를 생성하는 Python 코드를 자동 생성.
- 도체 겹침 방지 및 경계 조건 설정 등 기하학적 제약 조건을 코드에 반영.
3.2 도메인 특화 언어 (DSL) 코드 추론 (예시 포함):
- 시스템 프롬프트에 GetDP 의 의미 있는 코드 예시를 포함시켜, 사용자가 특정 도체 subset 에 대한 후처리 (예: 오믹 손실 밀도 시각화) 를 요청할 때 정확한 DSL 코드를 생성하도록 유도.
- 예시 포함 시 문법 오류가 크게 감소함을 확인.
3.3 DSL 코드 추론 (예시 없이):
- 시스템 프롬프트에 구체적인 예시가 없을 때, 사용자 프롬프트에 물리 법칙 (예: 자기 에너지 밀도 공식의 계수 0.25, 물리량 관계 등) 에 대한 명시적 지시를 추가하여 올바른 DSL 코드를 생성하는 전략을 제시.
- LLM 의 내재적 지식만으로는 물리적으로 의미 없는 결과가 나올 수 있음을 보여줌.
3.4 텍스트 요약 생성:
- 시뮬레이션 결과 (수치 데이터, 그래프) 를 자연어로 변환하여 요약.
- 스킨 효과 (Skin effect) 와 근접 효과 (Proximity effect) 등 물리적 현상을 설명하는 텍스트를 자동 생성.
3.5 실패 모드 분석 (구문론적/의미론적 계층 구조):
- 생성된 코드의 실패를 Python 코드 (구문/의미), 기하학 (구문/의미), GetDP 코드 (구문/의미), 물리 (구문/의미), **텍스트 요약 (구문/의미)**의 다층적 계층 구조로 분석.
- 문법적으로 올바르더라도 물리적으로 틀리거나 (의미론적 오류), 기하학적 배치와 사용자 의도가 일치하지 않는 경우 (할루시네이션) 를 식별.

4. 평가 및 결과 (Results)

벤치마크: 기본 (Basic), 중급 (Intermediate), 고급 (Advanced) 난이도의 3 가지 사용자 프롬프트를 사용하여 5 가지 LLM 모델 (Gemma-3-1b, Gemma-3-27b, Gemini-2.5-Flash 등) 을 비교 평가.
성능 평가 지표:
1. 문법적 성공 (Syntactical Success): 코드가 실행 가능한지.
2. 의미론적 성공 (Semantical Success): 생성된 기하학적 모델이 사용자의 의도와 일치하고, 후처리가 올바르게 수행되는지 (전문가 평가).
주요 결과:
- 모델 성능: Gemini-2.5-Flash가 가장 우수한 성능을 보였으며, 고급 난이도에서도 상대적으로 안정적인 결과를 제공. Gemma-3-1b 는 모든 난이도에서 실패.
- 난이도 영향: 기본 및 중급 난이도는 대부분의 모델에서 가능했으나, 고급 난이도 (예: Milliken 형 도체, 복잡한 기하학적 제약) 는 여전히 많은 시도와 실패를 동반함.
- 시간 및 비용: AI 워크플로우를 사용하면 시뮬레이션 설정 시간이 기존 엔지니어 대비 수 시간에서 수 초로 단축됨. 비용은 토큰 단가로 매우 저렴함.
- 할루시네이션: LLM 이 물리적으로 불가능한 기하학 (예: 정사각형의 꼭짓점이 5 개) 을 생성하거나, 물리 상수를 잘못 적용하는 경우가 발생함. 이는 시스템 프롬프트와 사용자 프롬프트의 정교한 설계로 완화 가능.

5. 의의 및 결론 (Significance & Conclusion)

선언적 개발 패러다임: 사용자가 "무엇을 (What)" 원하는지 (예: "원형으로 도체 배치") 만 설명하면, "어떻게 (How)" 구현할지는 AI 가 담당하는 선언적 개발 스타일을 가능하게 함.
컨텍스트의 중요성: LLM 의 내재적 지식만으로는 부족하며, 시스템 프롬프트와 사용자 프롬프트를 통해 물리 법칙과 도메인 지식을 명시적으로 주입 (Contextualization) 하는 것이 성공적인 결과 도출에 필수적임.
평가 방법론의 제안: AI 워크플로우의 품질을 평가하기 위해 문법적/의미론적 오류를 계층적으로 분석하는 프레임워크를 제시. 현재는 인간 평가에 의존하지만, 향후 자동화된 평가 (RAG, 임베딩 기반 유사도 측정 등) 로 발전 가능.
미래 전망:
- RAG(검색 증강 생성) 기술을 도입하여 최신 소프트웨어 매뉴얼이나 코드 저장소에 접근하도록 개선.
- 더 복잡한 제어 흐름 (AI Agent) 으로 확장.
- OpenCFS, DeepXDE 등 다양한 오픈소스 수치 해석 도구와의 통합.

요약: 이 논문은 전자기 시뮬레이션 분야에서 자연어 기반의 LLM 챗봇을 통해 모델 설정 시간을 획기적으로 단축할 수 있음을 입증했습니다. 특히, 단순한 코드 생성을 넘어 물리 법칙을 준수하는 의미론적으로 올바른 DSL 코드 생성과 자동 요약 기능을 구현했으며, 이를 위한 체계적인 평가 프레임워크를 제시했다는 점에서 의의가 큽니다.