LLM-based Visual Code Completion for Aerospace Geometric Design

기술 요약: 항공우주 기하학적 설계를 위한 LLM 기반 시각적 코드 완성

문제 정의
항공우주 산업은 안전성과 설명 가능성을 최우선으로 하며, 이로 인해 최근 시각 언어 모델(VLM) 및 시각적 코드 완성 기술의 발전에도 불구하고 기하학적 설계 분야에서의 상용 LLM 도입이 지연되고 있습니다. 현재 항공우주 원제조업체(OEM)에서 상업적으로 사용 중인 LLM 기반의 기하학적 설계 코파일럿 시스템은 공개적으로 발표된 바 없습니다. 이처럼 위험도가 높은 영역에서 LLM의 효과성과 안전성에 대한 과학적 근거가 부족한 실정입니다. 또한, 기존의 시각적 프로그래밍 환경(예: Rhinoceros 3D의 Grasshopper)은 엔지니어가 복잡한 날개와 같은 항공우주 구조물을 설계할 때 저수준 기하학적 프리미티브를 사용하여 복잡한 노드 그래프를 구축해야 하므로, 시간이 많이 소요되고 오류가 발생하기 쉽습니다.

방법론
저자들은 항공우주 엔지니어가 Grasshopper 환경 내에서 날개 기하학 설계를 수행하는 것을 보조하기 위해 설계된 LLM 기반 시각적 프로그래밍 코파일럿 애플리케이션을 제안합니다. 이 시스템은 세 가지 핵심 구성 요소로 통합됩니다:

1. Wingbuilder 라이브러리: 7개의 도메인별 카테고리(예: 에어포일 생성, 날개 조립, 부품 팩토리)로 분류된 54개의 커스텀 컴포넌트를 포함하는 새로운 Grasshopper 플러그인 라이브러리입니다. 표준 Grasshopper 프리미티브와 달리, Wingbuilder는 고수준의 도메인 객체(예: "spar", "rib", "dihedral")를 노출하여 엔지니어가 자신의 전문 용어로 작업할 수 있게 합니다.
2. 항공우주 시각적 프로그래밍 데이터셋(AVPD): Wingbuilder 컴포넌트를 사용하는 다양한 난이도(쉬움, 중간, 어려움)의 전문가 설계 작업 18개로 구성된 데이터셋입니다. 각 작업은 숨겨진 컴포넌트가 포함된 시작 캔버스, 자유 형식의 텍스트 작업 설명, 그리고 정답인 "골드 앤서(gold answer)" 캔버리를 포함합니다.
3. ReAct 기반 코파일럿 아키텍처: 이 시스템은 수정된 ReAct(Reasoning and Acting, 추론 및 행동) 방법론을 사용하는 GPT 5.4(상용 LLM)를 활용합니다.
   • 입력: LLM은 현재 Grasshopper 캔버스의 스크린샷, 사용 가능한 Wingbuilder 컴포넌트에 대한 시스템 프롬프트, 그리고 자연어로 된 엔지니어링 작업 설명을 전달받습니다.
   • 프로세스: 중간 3D 모델을 렌더링하여 시각적으로 분석하는 다른 에이전트 방식과 달리, 이 방법은 시각적 분석 단계를 건너뜁니다. 대신, LLM이 사전 학습된 Grasshopper 시각적 컴포넌트 레이아웃에 대한 지식에 의존합니다. LLM은 필요한 동작에 대한 "생각(thoughts)"을 반복적으로 생성하고, API를 통해 특정 동작(예: 컴포넌트 추가, 와이어 연결)을 선택합니다.
   • 출력: 시스템은 캔버스를 수정하기 위해 Grasshopper 스크립트를 실행하며, 작업이 완료되었다고 판단될 때까지 관찰 결과(observations)를 LLM에 다시 제공합니다. 사용자는 언제든지 제안을 미리 보고 수락하거나 거부할 수 있습니다.

주요 기여

• Wingbuilder 라이브러리: 항공우주 날개 설계를 위한 시각적 프로그래밍 및 LLM 자동화를 지원하도록 특별히 설계된 오픈 소스 기하학 추상화 라이브러리를 공개했습니다.
• 항공우주 시각적 프로그래밍 데이터셋(AVPD): 전문화된 도메인에서 LLM 기반의 기하학적 시각적 코드 완성을 평가하기 위해 설계된 18개 작업과 정답 솔루션이 포함된 벤치마크 데이터셋을 구축했습니다.
• 평가 프레임워크 및 통찰: 주요 항공기 제조사의 숙련된 항공우주 엔지니어 2명을 대상으로 한 사용자 실험을 통해 정량적 지표(작업 완료 시간, 성공률)와 정성적 지표(사용자 만족도, 신뢰도)를 모두 제공했습니다. 또한 본 논문은 항공우주 도메인 LLM 애플리케이션 개발을 위한 모범 사례와 교훈을 제시합니다.

결과
사용자 실험을 통해 다음과 같은 결과가 도출되었습니다:

• 작업 난이도 상관관계: 코파일럿은 "어려운" 난이도의 작업(약 8분)에서 가장 유용했습니다. 이 시나리오에서 코파일럿을 사용한 참가자들은 더 빨랐으며(코파일럿 미사용 시 259초 vs 사용 시 173초), 더 높은 완료율(6개 중 2개 vs 6개 중 5개)을 보였습니다.
• 쉬운 작업에서의 성능: "쉬운" 작업(약 2분)의 경우, LLM 추론 지연 시간으로 인해 코파일럿이 참가자의 속도를 크게 늦추었습니다(코파일лот 미사용 시 34초 vs 사용 시 78초).
• 추론 지연 시간: LLM ReAct 프로세스는 솔루션당 평균 113초가 소요되었으며, 단계당 평균 시간은 9초, 솔루션당 평균 12단계였습니다. 이러한 지연 시간은 빠르고 간단한 편집 작업에 대한 도구의 유용성을 제한합니다.
• 사용자 피드백: 참가자들은 특히 복잡한 작업에서 초기 난관을 극복하는 데 있어 제안이 도움이 된다고 느꼈습니다. 그러나 ReAct 추론 과정이 때때로 혼란스럽고 제안 내용이 항상 이해하기 쉽지는 않다고 언급했습니다. 이러한 문제에도 불구하고, 참가자들은 향후 이 도구를 사용할 의사가 있다고 밝혔습니다.

의의 및 주장
본 논문은 작업의 복잡도에 따라 지연 시간을 수용할 수 있다면, LLM 기반 시각적 프로그래밍 코파일럿이 복잡한 항공우주 기하학 설계 작업에 효과적일 수 있음을 입증한다고 주장합니다. 또한 다음을 강조합니다:

• 도메인 추상화의 중요성: LLM이 항공우주 설계를 효과적으로 추론할 수 있도록 하기 위해서는 저수준 기하학적 프리미티브보다는 고수준의 도메인 특화 컴포넌트(Wingbuilder)를 사용하는 것이 필수적입니다.
• 시각적 렌더링 없는 ReAct: 중간 3D 렌더링을 생성하고 분석하는 대신, 사전 학습된 LLM의 시각적 레이아웃 지식에 의존하는 ReAct 방법론은 CAD를 위한 시각적 코드 완성에 있어 실행 가능하고 효율적인 접근 방식입니다.
• 안전성 및 설명 가능성: 도구가 유망한 결과를 보여주었지만, 저자들은 현재 오픈 소스 LLM의 상태가 이 특정 ReAct 워크플로우에는 불충분하여, 실행 가능한 정확도를 확보하기 위해 강력한 상용 모델(GPT 5.4)을 사용해야 함을 인정합니다. 저자들은 향후 유사한 성능을 달al하기 위해 미세 조정된 오픈 소스 LLM의 앙상블을 탐구하는 연구가 필요하다고 제언합니다.

저자들은 현재의 추론 속도가 복잡하고 시간이 많이 걸리는 작업으로 도구의 용도를 제한하고 있지만, 모델 효율성과 하드웨어가 개선된다면 항공우주 산업에서 LLM 디지털 어시스턴트로의 패러다임 전환은 충분히 가능하다는 결론을 내렸습니다.