기술 요약: IndustryForge-27B

문제 정의

산업용 CAD(Computer-Aided Design) 및 제조 자동화는 범용 모델이 충족하지 못하는 독특한 요구사항을 부과합니다. 범용 모델은 공학 도면에 대한 그럴듯한 서술적 텍-트는 생성할 수 있지만, 이러한 시각 자료를 실행 가능한 파라메트릭 스크립트나 Windows Component Object Model(COM) API 코드로 변환하는 데에는 자주 실패합니다. 세 가지 구체적인 결함이 현재의 범용 모델을 저해하고 있습니다:

1. 기하학적 부정확성: 모델이 도면을 코드로 변환할 때 치수, 구속 조건, 좌표계를 잘못 할당하는 경우가 빈번합니다(예: CadQuery 생성 시). 이는 질적으로는 올바르지만 수치적으로는 틀린 형상을 초래합니다.
2. 산업용 API 지식 부족: 공개된 코드 코퍼스는 산업용 소프트웨어(SolidWorks, Inventor, AutoCAD)의 특정 COM 인터페이스에 대한 노출이 부족합니다. 결과적으로 모델은 API를 통해 내부 객체를 조작(예: 돌출 피처 생성 또는 메이트 구속 적용)하는 코드를 생성하지 못합니다.
3. 어셈블리 규모 추론의 부재: 공개된 CAD 데이터는 단일 부품 모델에 편중되어 있습니다. 범용 모델은 다중 부품 시스템을 다루는 데 어려움을 겪으며, 어셈블리 수준의 구속 조건, 동축 정렬 및 간섭 체크를 처리하는 데 실패합니다.

단일 작업 미세 조정(single-task fine-tuning)이나 폐쇄형 모델에 대한 직접적인 프롬프팅과 같은 기존 솔루션은 불충분합니다. 단일 작업 모델은 좁은 작업에 과적합되어 다양한 에이전트 호출에 대한 유연성이 부족하며, 폐쇄형 모델은 산업용 API 및 어셈리 작업에서 여전히 취약합니다. 또한, 현재 CAD 생태계에는 통합된 파운데이션이 없어, 다운스트림 에이전트 프로젝트(예: IterCAD, AssemCAD)들이 "모델이 CAD를 읽고 코드를 쓸 수 있는가?"라는 전제 조건을 독립적으로 해결해야 하는 상황입니다.

방법론

저자들은 엔드 투 엔드 생성 시스템이라기보다 산업용 에이전트를 위한 "공통 기질(common substrate)"로 설계된 도메인 강화 멀티모달 파운데이션 모델인 IndustryForge-27B를 제안합니다.

데이터 구축

본 모델은 Qwen3.5-VL-27B를 기반으로 구축되었으며, 약 52,000개의 멀티모달 샘플로 구성된 큐레이션된 코퍼스에 대해 통합 멀티태스크 지도 미세 조정(SFT) 레시피를 사용하여 학습되었습니다. 데이터는 다음 네 가지 작업 패밀리와 여섯 개의 서브 코퍼스로 구성됩니다:

1. CAD 시각적 이해 (CAD-VQA, ~4k 샘플): 치수 읽기, 가공 공정 계획 및 공차 분석을 다루는 질문과 답변이 포함된 다중 뷰 공학 도면 데이터셋입니다.
2. 파라메트릭 CAD 코드 생성 (text2cadquery, ~17k 샘플): 자연어 설명 또는 단일 뷰 렌더링과 실행 가능한 CadQuery Python 스크립트 쌍입니다. 데이터는 기하학적 충실도를 보장하기 위해 샌드박스 실행 및 Chamfer Distance 임계값을 통해 필터링되었습니다.
3. 어셈블리 수준 CAD 코드 생성 (text2cadquery-assembly, ~1k 샘플): 기하학적 일관성과 간섭 없는 어셈블리를 보장하는 "What/How/Verify" 파이프라인을 통해 생성된 복잡한 다중 부품 어셈블리 스크립트입니다.
4. 산업용 소프트웨어 API 코드 생성 (COM Family, ~30k 샘플): SolidWorks, Inventor, AutoCAD에 대한 2D 드래프팅, 3D 부품 모델링 및 어셈블리 작업을 다루는 세 개의 서브 코퍼스로 구성됩니다. 이 스크립트들은 컨테이너화된 Windows VM에서 실행되어 구체적인 CAD 아티팩트를 생성함으로써 검증되었습니다.

학습 레시피

• 아키텍처: Qwen3.5-VL-27B를 기반으로 하며, 공학적 라인 워크를 위한 비주로 인코더와 8×A100-80 GB 노드에서의 배포 가능성을 위한 27B 파라미터 예산을 활용합니다.
• 전략: 타겟 분포(QA 쌍 및 코드)가 명확히 정의되어 있으므로 지속적 사전 학습(Continued Pre-Training) 대신 순수 SFT를 채택했습니다.
• 엔지니어링: 긴 시퀀스(일부 COM 스크립트는 5k 토큰 초과)를 처리하기 위해 LoRA, DeepSpeed ZeRO-3 및 시퀀스 병렬성(size=1)을 활용합니다.
• 샘집(Sampling): 수동으로 조정된 가중치 재배정 없이 여섯 개 서브 코퍼라의 평탄한 비율 믹싱(flat proportion mixing)을 사용합니다.
• 품질 관리: 훈련/테스트 누수를 방지하기 위해 UUID 수준 및 구조적 수준(코드의 AST 해싱, 아티팩트의 Chamfer Distance 필터링)에서 엄격한 디컨타미네이션(decontamination)을 적용했습니다.

주요 기여

1. 산업용 멀티모달 SFT 코퍼스: CAD-VQA, 파라메트릭 코드(CadQuery), 그리고 부품 및 어셈블리를 위한 산업용 API 코드(COM)를 아우르는 총 ~52k 샘플의 여섯 개 서브 코퍼스 통합.
2. 불균형 멀티태스크 SFT를 위한 학습 레시피: 단일 노드에서 27B 멀ط모달 모델을 학습시키고, 파괴적 망각 없이 긴 컨텍스트의 산업용 스크립트를 처리할 수 있는 안정적인 구성.
3. 체계적인 평가 스위트: 네 개의 도메인 특화 벤치마크(CAD VQA, CadQuery, COM CAD, CadQuery Assembly)와 11개의 일반 능력 벤치마크로 구성된 종합적인 벤치마크 스위트.
4. 개방형 산업용 에이전트 기질: IterCAD, AssemCAD, ComAct, SimLoop와 같은 다운스트림 프로젝트의 공유 시작점이 될 IndustryForge-27B 체크포인트 공개.

실험 결과

모델은 베이스 모델인 Qwen3.5-27B 및 강력한 폐쇄형 모델인 gpt-5.4와 비교 평가되었습니다.

도메인 벤치마크

IndustryForge-27B는 베이스 모델 대비 평균 **+33.65 퍼센티지 포인트(pp)**의 개선을 달성했으며, 네 가지 도메인 벤치마크 모두에서 gpt-5.4를 능가했습니다.

• CadQuery (단일 부품): 7.82%(베이스)에서 **77.88%**로 향상 (gpt-5.4의 72.36%를 상회).
• COM CAD: 28.33%(베이스)에서 **73.33%**로 향상 (gpt-5.4의 30.00%를 상회).
• CadQuery Assembly: **15.38%**의 사용 가능한 통과율을 달성하였으며, 이는 베이스 모델(0.00%)과 gpt-5.4(3.85%)의 성능에서 크게 도약한 수치입니다.
• CAD VQA: 88.23%로 향상 (gpt-5.4의 87.12% 대비).

일반 능력 벤치마크

수학, 추론, OCR, 과학을 다루는 11개의 일반 벤치마크 전반에서 IndustryForge-27B는 파괴적 망각(catastrophic forgetting)을 보이지 않았으며, 베이스 모델 대비 평균 +1.56 pp의 개선을 보였습니다. 주목할 만한 성과는 다음과 같습니다:

• Math Vision (+14.97 pp): "다중 뷰에서 기하학으로"의 추론 기술 전이를 시사합니다.
• ChartQA (+3.84 pp): 도표로부터 구조화된 데이터를 읽는 능력의 향상을 나타냅니다.
• Long-Context Consistency: 트리비아 및 수학 작업에서의 이득은 다단계 심볼릭 추론을 처리하는 안정성이 향상되었음을 시사합니다.

의의 및 포지셔닝

본 논문은 IndustryForge-27B를 완전한 엔드 투 엔드 CAD 생성 시스템이 아니라, 산업용 에이전트 생태계를 위한 **공통 기질(common substrate)**로 포지셔닝합니다. CAD 시각적 이해, 파라메트릭 코드 생성, COM API 조작 및 어셈블리 추론 능력을 미리 주입함으로써, "우리의 파운데이션 모델이 CAD 도면을 읽고 CAD 코드를 쓸 수 있는가?"라는 근본적인 전제 조건 문제를 해결합니다.

이를 통해 다운스트림 에이전트들은 기초적인 능력 문제를 다시 해결하는 대신, 더 높은 수준의 오케스트레이션(예: 폐쇄 루프 생성, 어셈블리 분해, 또는 CAD-CAE 루프)에 집중할 수 있습니다. 저자들은 어셈블리 통과율이 이제 사용 가능한 수준(non-zero)에 도달했으나 여전히 개선이 필요한 영역임을 언급하며, 현재의 범위는 CAD 코드와 시각적 이해에 한정되어 있고 파운데이션 레이어에서의 시뮬레이션 및 CAE 모델링은 제외되어 있다고 명시했습니다.