기술 요약: VEHBench

문제 정의

배터리 없는 사물인터넷(IoT) 기기를 위한 진동 에너지 하베스터(VEH) 설계는 밀접하게 결합된 기계적-전기적 상호작용과 엄격한 물리적 제약 조건(예: 진동 스펙트럼, 전력 목표, 크기 제한, 재료 특성 및 안전 마진)을 수반한다. 대규모 언어 모델(LLM)은 공학 워크플로의 인터페이스로서(요구사항 번역, 피드백 검토, 설계 수정 제안 등) 점점 더 많이 사용되고 있지만, 기존의 공학 벤치마크는 주로 최종 결과물의 유효성을 평가하는 데 집중되어 있다. 이러한 종단점 평가는 LLM이 뚜렷하게 구분되는 물리적 설계 워크플로의 각 단계에서 어떻게 행동하는지를 밝혀내지 못한다. 구체적으로, 현재의 벤치마크는 모델이 불완전한 브리프를 올바르게 분류(triage)하는지, 물리적 피드백 이후 유계된 편집(bounded edits)을 수행하는지, 손상된 설계 궤적으로부터 회복하는지, 또는 명시적인 선택 정책을 준수하는지를 진단하지 못한다. 이러한 단계별 진단 능력의 부재는 특정 워크플로 실패(예: 진입 제어 오류 vs. 탐색 실패)를 식별하기 어렵게 만들며, 특정 공학적 역할에 적합한 모델을 선택하거나 라우팅하는 것을 방해한다.

방법론

저자들은 검증기 기반(verifier-grounded) 과업을 통해 LLM 지원 VEH 공동 설계를 평가하도록 설계된 공학 네이티브 진단 벤치마크인 VEHBench를 소개한다.

벤치마크 구축

• 도메인: 이 벤치마크는 구조 역학, 스마트 재료, 회로 설계가 결합된 소형 도메인인 초기 단계 캔틸레버 압전 VEH 공동 설계에 초점을 맞춘다.
• 데이터 소스: 209편의 논문 문헌 조사를 통해 과업을 도출하였으며, 그 결과 52개의 정제된 "설계 앵커(design anchors)"(변수, 경계, 제약 조건을 포함한 정규화된 물리적 상태)를 생성하였다.
• 검증: 분석적 물리 오라클(Euler–Bernoulli 보 이론 및 전기 기계적 결합 방정식을 기반으로 함)이 타당성과 목적 함수 품질을 계산한다. 점수 산정을 위해 인간의 레이블이나 "LLM-as-a-judge"를 사용하지 않는다.
• 과업 분해: 워크플로는 신뢰할 수 있는 상태, 허용 가능한 행동, 실패 결과가 각각 지정된 네 가지 설계 역할(프로브)로 분해된다:
  1. P1 (사양 분류/Specification Triage): 모델은 설계 브리프(완전하거나, 누락되었거나, 불가능한 상태)를 전달받고, 제안할지, 절제할지, 혹은 누락된 정보를 요청할지 결정해야 한다.
  2. P2 (검증기 유도 탐색/Verifier-Guided Search): 시드 설계와 오라클 피드백이 주어졌을 때, 모델은 후보를 개선하기 위해 유계된 편집을 수행한다.
  3. P3 (손상된 상태 회복/Corrupted-State Recovery): 모델은 손상되거나 잘못된 설계 궤적에 노출되며, 트랩을 탈출하기 위해 리셋, 재앵커링(re-anchor) 또는 안정화를 수행해야 한다.
  4. P4 (정책 조건부 선택/Policy-Conditioned Selection): 실행 가능한 후보 풀이 주어졌을 때, 모델은 명시적인 공학 정책(예: 전력 우선 vs. 신뢰성 우선)에 따라 순위를 매기거나 선택한다.

평가 프레임워크

• 모델: 12개의 완전한 모델 실행(Qwen, Gemini, DeepSeek, GPT, Hunyuan 등 포함)이 763개 전체 과업에 대해 평가되었다.
• 지표:
  • 헤드라인 지표: P1-Composite (가중 인증 점수), P2 최종 가용 전력 비율, P3-Success (회복 후 최종 타당성), P4 Kendall $\tau_b$ (순위 일관성).
  • 진단 프로파일: 로그로부터 응답 제어 프로파일(행동 규율, 편집 스타일, 피드백 조건화, 상태 리셋 노력, 정책 실행)을 추출하여 실패를 행동 신호와 매핑한다.
  • 오류 유형: 비배타적 오류율(예: 과잉 행동, 불가능한 폐쇄, 탈출 후 실패, 정책 불일치)을 계산하여 특정 실패 모드를 식별한다.

주요 기여

1. 벤치마크 프레임워크 (VEHBench): 최종 결과물의 유효성을 넘어 단계별 설계 행동을 평가하는 최초의 진단적 VEH 설계 벤치마크이다. 이는 문헌에 근거한 과업 구축, 외부 분석적 검증, 단계별 특화 평가를 결합한다.
2. 경험적 발견 및 해석: 저자들은 현재의 LLM들을 체계적으로 평가하였으며, 능력이 매우 단계 의존적임을 발견했다. 단일 모델이 전체 워크플로를 지배하지 못한다. 또한 경험적 결과와 해석 가능한 행동 특성(예: 행동 규율, 유계된 편집, 상태 회복)을 연결하는 프레임워크를 도입했다.
3. 단계 인지 가이드 (Stage-Aware Guidance): 본 논문은 단계별 결과가 모델 선택, 라우팅, 적응을 포함한 실질적인 공학 응용 분야에 어떻게 정보를 제공할 수 있는지 보여준다. 또한 특정 능력 격차(예: 사양 분류, 손상된 상태 회복)를 식별하여 미래의 공학 에이전트를 위한 방향을 제시한다.

실험 결과

• 단계별 순위: 단일 모델이 전체 워크플로를 선도하지 못한다.
  • P1 (분류): qwen3-max가 행동 규율(안전하지 않은 진입 억제 및 정보 누락 미탐지)을 균형 있게 유지하며 가장 우수한 성능을 보였다.
  • P2 (탐색): gemini-3.1-pro-preview가 높은 가용 폐쇄(feasible closure)와 유용한 전력 비율 덕분에 선두를 차지했다.
  • P3 (회복): hunyuan-hy3-preview가 손상된 상태에서 탈출한 후 안정화하는 데 탁월했다.
  • P4 (선택): gpt-5.4가 가장 높은 정책 실행력과 순위 일관성을 달성했다.
• 실패 모드:
  • P1: 지배적인 오류는 "과잉 행동"(불가능한 브리프에 대해 제안함)과 "정보 누락 미탐지"였으며, 과도한 거절은 아니었다.
  • P2: 대부분의 모델이 출력 프로토콜은 따랐으나, 물리적 탐색 루프를 닫는 데 실패(불가능한 폐쇄)하거나 효용 손실을 겪었다.
  • P3: 주요 병목 지점은 트랩을 탈출하는 것이 아니라, 탈출 후 상태를 안정화하는 것(탈출 후 실패)이었다.
  • P4: 실패는 주로 파싱 오류나 불가능한 후보 선택보다는 "정책 불일치"(명시된 공학적 우선순위 실행 실패)에서 발생했다.
• 개입 및 라우팅:
  • 상태 인터페이스: 가공되지 않은 손상된 이력을 검증기 작성 상태 요약으로 교체했을 때, P3 회복률이 평균 50.0%에서 63.2%로 향상되었고 연쇄 실패가 감소했다.
  • 라우팅: 단계별 인지 라우터(각 단계에 다른 모델을 선택)를 사용했을 때, 최선의 단일 모델 폴백(fallback) 모델인 0.892보다 높은 0.945의 평균 정규화 홀드아웃 점수를 기록했다. 이는 주로 P3 전문가 모델을 교체함으로써 달성되었다.

의의 및 주장

본 논문은 **공학 설계에서의 LLM 능력은 역할 의존적(role-dependent)**이며, 종합적인 순위보다 단계별 적합성이 더 유익하다는 점을 주장한다. VEHBench는 검증 기반 공학 LLM의 행동 프로파일을 노출함으로써, 이들을 평가, 선택, 라우팅 및 개선하기 위한 토대를 제공한다.

저자들은 VEHBench가 유한 요소법(FEM) 시뮬레이션, 제조 검토, 또는 하드웨어 인증을 대체하는 것이 아님을 강조한다. 대신, 이는 각 설계 단계에서 LLM이 물리적 타당성 신호를 적절하게 사용하는지 판단하기 위한 진단 계층 역할을 한다. 본 벤치마크는 분석적으로 검증 가능한 캔틸레버 VEH 공동 설계로 범위를 한정하고 있으며, 저자들은 동일한 구조가 더 풍부한 시뮬레이터와 다른 결합 도메인에도 구현될 수 있음을 언급한다. 이 연구는 공학 적용을 위해 초점이 "자율적 하드웨어 설계"에서, 모델이 설계 워크플로 내의 특정 행동 프로파일에 따라 선택되고 라우팅되는 "단계별 로컬 지원"으로 이동해야 한다고 주장한다.