기술 요약: 신뢰성 있는 APDL 자동화를 위한 CAX-Agent

문제 제기

기계 분석 및 설계 (MAPDL) 유한 요소 시뮬레이션에 배포된 대규모 언어 모델 (LLM) 은 상당한 신뢰성 문제를 직면하고 있습니다. LLM 은 코드를 생성할 수 있지만, 엔지니어링 워크플로우에 필요한 구조화된 실행 제어, 도구 캡슐화, 그리고 오류 복구 메커니즘이 종종 부족합니다. 시뮬레이션 파이프라인에서는 메시 생성 실패, 수렴 문제, 또는 결과 누락과 같은 런타임 오류가 구조적으로 단순한 작업에서도 흔히 발생합니다. 명시적인 복구 메커니즘이 없으면 단일 실패가 전체 파이프라인을 종료시킵니다. 기존 에이전트 프레임워크는 종종 LLM 이 자신의 실행을 관리하기를 기대하는데, 이는 견고하고 재현 가능한 자동화를 위한 필수적인 엔지니어링 골격을 제공하지 못합니다. 인간이 검증한 결과를 바탕으로 반복된 조건 하에서 다양한 복구 정책 (예: 규칙 기반 대 모델 주도) 을 비교한 통제된 경험적 증거는 부재합니다.

방법론

시스템 아키텍처: CAX-Agent

본 논문은 범용 프레임워크를 적용하는 것이 아니라 APDL 자동화를 위해 특별히 설계된 경량 도메인 네이티브 에이전트 하니스인 CAX-Agent를 소개합니다. 아키텍처는 세 가지 계층으로 구성됩니다:

1. LLM 서비스 계층: 빠른 1 차 생성을 위한 로컬 경량 모델 (Qwen-27B) 과 복잡한 추론 및 복구를 위한 외부 고기능 API (Claude Sonnet 4.6) 를 포함합니다.
2. 에이전트 하니스 (오케스트레이터): 이 미들웨어는 도구 수명 주기, 워크플로우 상태, 그리고 오류 진단을 관리합니다. 결정적으로, 오케스트레이터가 LLM 이 아닌 재시도 예산, 도구 배분, 그리고 정지 조건을 소유합니다. 이는 결정적 규칙 패치에서 모델 주도 재생성, 컨텍스트 풍부화, 그리고 최종적으로 인간 개입으로 이어지는 **복구 사다리 (Recovery Ladder)**를 구현합니다.
3. 솔버 백엔드: MAPDL 엔진 (PyMAPDL, CLI, 또는 폴백 모드) 에 연결하는 통합 인터페이스입니다.

실험 설계

이 연구는 정적, 모드, 그리고 열 하중 하의 보, 판, 원통과 같은 50 개의 표준 구조 작업 벤치마크에서 세 가지 서로 다른 복구 전략을 평가합니다. 작업은 복구 정책의 효과를 작업 난이도가 아닌 분리하기 위해 의도적으로 단순하게 설계되었습니다.

• 복구 없음: 수리 시도 없이 원샷 (one-shot) 실행.
• 규칙 전용: 추가 모델 추론 없이 네 가지 문자열 변환 규칙 (예: 메시 실패를 위한 요소 크기 배가, 수렴 문제를 위한 시간 단계 삽입) 을 사용한 로그 기반 결정적 패치.
• 모델 전용: 오류 로그가 조건부인 모델 재생성으로, LLM 이 오류 로그를 읽고 실패를 진단한 후 스크립트를 재생성하는 bounded 재시도 (최대 3 회 강제 재시도 라운드) 를 수행합니다.

평가 지표

총 450 건의 사례 실행 (50 개 작업 × 3 가지 전략 × 3 회 반복) 은 다음을 사용하여 평가되었습니다:

• 작업 점수 ($t_i$): 출력 이미지의 정확성과 완전성에 대한 인간 평가 점수 (0–4).
• 자율성 점수 ($a_i$): 수동 개입이 필요했는지에 따라 시스템이 도출한 점수 (0–3).
• 복구 효율성 점수 ($e_i$): 재시도 횟수와 솔버 결과에 기반한 점수.
• 총점 ($q_i$): 위의 합계 ($t_i + a_i + e_i$), 0 에서 10 사이.
• 완료율: 적어도 하나의 후처리 이미지가 생성되었는지를 나타내는 이진 지표.
• 통계 분석: 효과 크기 (Cliff's $\delta$) 와 Mann–Whitney U 검정을 사용한 쌍별 비교, 그리고 일관성 있는 판정자 간 합의는 2 차 가중 코헨의 $\kappa$ (0.84) 로 측정되었습니다.

주요 기여

1. CAX-Agent 아키텍처: 복구 사다리와 의미적 복구 (LLM) 를 실행 제어 (하니스) 로 분리하는 오케스트레이터 중심 제어 모델을 특징으로 하는 3 계층 MAPDL 네이티브 에이전트 하니스.
2. 통제된 경험적 평가: 블라인드 인간 점수와 판정자 간 검증을 활용하여 50 개의 표준화된 APDL 작업에서 세 가지 복구 전략을 엄격하게 반복 실행하여 비교한 연구.
3. 경험적 증거: 완료율, 출력 품질, 그리고 자율성 측면에서 모델 주도 복구가 규칙 기반 수리 및 복구 없음 베이스라인을 크게 능가함을 입증.

결과

모델 전용 전략은 규칙 전용 및 복구 없음에 비해 모든 지표에서 우수한 성과를 거두었습니다:

• 완료율: 모델 전용 (0.9267) 이 규칙 전용 (0.7733) 과 복구 없음 (0.6933) 을 크게 능가했습니다. 모델 전용의 95% 신뢰 구간은 베이스라인과 겹치지 않았습니다.
• 작업 품질: 모델 전용은 평균 작업 점수 3.59/4를 기록하여, 규칙 전용의 3.17/4 와 복구 없음의 2.74/4 보다 높았습니다.
• 총점: 모델 전용은 9.16/10을 기록하여 규칙 전용 (7.03/10) 과 복구 없음 (5.60/10) 보다 현저히 높았습니다.
• 무개입률: 모델 전용은 0.84를 기록한 반면, 규칙 전용은 0.00이었습니다. 논문은 규칙 전용의 0 점 재실행 전 인간 확인 단계를 요구하는 설계 특성으로 인해 완전한 자율 운영이 불가능함을 반영한다고 명시합니다.
• 효과 크기: 모델 전용과 다른 전략 사이에서 큰 효과 크기 (Cliff's $\delta$ = 0.81–0.87) 가 관찰되어, 무작위로 선택된 모델 전용 실행이 규칙 전용 실행보다 우세할 확률이 높음을 나타냅니다.

실패 분석: 잔여 실패는 얇은 벽 또는 메시에 민감한 기하학적 특징을 포함하는 정적 구조 설정에 집중되었습니다. 결정적 규칙은 긴 꼬리 솔버 및 스크립트 경로 실패에는 불충분한 것으로 밝혀졌으며, 모델 주도 복구는 더 넓은 실패 서명에 적응했습니다.

중요성 및 주장

본 논문은 CAX-Agent가 산발적이고 신뢰성 없는 LLM 호출을 표준화되고 추적 가능하며 재현 가능한 엔지니어링 워크플로우로 전환할 수 있음을 보여준다고 주장합니다.

주요 발견 사항은 다음과 같습니다:

• 복구의 필요성: 명시적인 복구 메커니즘은 시스템 신뢰성의 핵심입니다. 이를 없으면 단일 실패가 파이프라인을 종료시킵니다.
• 모델 주도 수리의 우위: 결정적 규칙은 복구 없음보다 일부 개선을 제공하지만, 출력 품질을 신뢰성 있게 높이거나 완전한 자율성을 달성하지는 못합니다. 모델 주도 복구는 현재 CAX 배포를 위한 가장 실용적인 기본 전략입니다.
• 오케스트레이터 중심 제어: LLM 의 추론을 하니스의 실행 제어 (재시도 예산, 정지 조건) 로 분리하는 것은 프롬프팅만으로는 달성할 수 없는 행동 보장을 제공합니다.
• 방법론적 기여: 이 연구는 다른 하니스 구성 요소 및 시뮬레이션 백엔드에 적용 가능한 재현 가능한 경험적 하니스 평가 템플릿 (통제된 절단, 반복 실행, 다축 점수) 을 제공합니다.

저자들은 벤치마크가 단순한 기하학과 선형 탄성을 사용한다는 점을 지적하며 범위에 대해 겸손함을 유지합니다. 복잡한 산업 환경에 실제 배포하기 전에 더 크고 다양한 벤치마크 및 여러 솔버 백엔드에 대한 검증이 필요하다고 명시합니다. 그러나 통제된 조건 하에서 모델 주도 복구가 규칙 기반 및 복구 없음 접근법을 능가한다는 핵심 발견은 견고하고 통계적으로 유의미한 것으로 제시됩니다.