기술 요약: ComAct – COM-as-Action을 통한 전문 소프트웨어 조작의 재정의

1. 문제 정의

기존의 컴퓨터 사용 에이전트들은 전문적인 소프트웨어를 조작할 때 근본적인 한계에 직면한다. 현재의 패러다임은 두 가지 범주로 나뉘며, 두 방식 모두 산업 현장에서 어려움을 겪는다:

• GUI 기반 에이전트: 접근성은 높지만, 취약한 시각적 접지(visual grounding)에 의존하며, 시각적으로 밀도가 높은 전문 인터페이스(예: CAD, Office 제품군)에서 장기 실행 시 오류가 누적되어 신뢰성이 떨어진다.
• API/MCP 기반 에이젝트: 구조화된 제어를 제공하지만, 이질적인 프로토콜, 파편화된 인터페이스, 그리고 상용 폐쇄형 소프트웨어의 공개 API 부재라는 제약을 받는다.

결과적으로, 복잡한 전문 워크플로우를 자동화하기 위한 통일되고 신뢰할 수 있는 보편적인 방법론이 부족한 실정이다. 저자들은 대규모 멀티모달 모델(MLLM)이 코드 생성에는 뛰어나지만, GUI의 시각적 취약성을 우회하고 폐쇄형 애플리케이션의 도구 부족 문제를 해결하는 데 효과적으로 활용되지 못하고 있다고 주장한다.

2. 제안된 방법론: COM-as-Action (ComAct)

본 논문은 ComAct를 제안하며, 이는 전문 소프트웨어 상호작용을 순차적인 시각적 제어가 아닌 **결정론적 프로그램 합성(deterministic program synthesis)**으로 재정의하는 새로운 패러다임이다.

핵심 개념: 컴포넌트 오브젝트 모델 (Component Object Model, COM)

저자들은 **컴포넌트 오브젝트 모델(COM)**을 통일된 실행 가능한 추상화 도구로 식별하였다. 접근성 중심인 UI Automation(UIA)과 달리, COM은 시맨틱 오브젝트 레벨에서 작동하며 구조화된 프로그래밍 인터페이스를 통해 애플리케이션 내부를 노출한다. 이는 Microsoft Office, Adobe 제품군, 그리고 산업용 CAD 소프트웨어(예: SolidWorks, AutoCAD)를 포함한 Windows 생태계 전반에서 네이티브로 지원된다.

• 액션 공간 (Action Space): 에이전트는 마우스/키블래드 좌표를 생성하는 대신, COM 인터페이스를 호출하는(win32com.client를 통한) 실행 가능한 Python 스크립트를 생성한다.
• 워크플로우: 에이전트는 자연어 지시사항을 COM 스크립트로 변환한다. 시각적 인지는 정밀한 제어가 아닌, 거친 수준의 관찰 및 검증(예: 스크린샷을 통한 오류 확인)을 위해서만 예약된다.

ComActor 에이전트

구문적 정확성과 기하학적 정확성 사이의 간극을 메우기 위해, 저자들은 단계적 3단계 프레임워크를 통해 학습된 자기 수정 에이전트인 ComActor를 개발하였다.

1. 1단계: 지시어-코드 매핑 (SFT):
   • 목표: 에이전트가 구문적으로 유효한 COM 스크립트를 생성하는 능력을 부트스트랩한다.
   • 방법: 공개 CAD 데이터셋(SketchGraphs, Text2CAD, Fusion360Gallery)에서 합성된 검증된 지시어-코드 쌍을 사용하여 지도 미세 조정(SFT)을 수행한다. 오직 올바른 프로그램만이 학습에 사용되도록 격리된 Docker 컨테이너 내에서 스크립트를 검증한다.
2. 2단계: 멀티모달 피드백을 통한 에이전트적 정교화 (SFT):
   • 목표: 에이전트가 실행 실패로부터 회복할 수 있도록 한다.
   • 방법: 에이전트는 다회차 상호작용 궤적(trajectories)을 통해 미세 조정된다. 성공적인 궤적은 직접 사용되며, 실패한 궤적은 강력한 교사 모델(teacher model)에 의해 진단되어 추론 과정과 코드가 재작성된다. 에이전트는 환경 피드백(스크린샷, 터미널 로그)을 해석하여 반복적으로 코드를 디버깅하는 법을 배운다.
3. 3단계: GRPO를 통한 태스크 레벨 최적화 (RL):
   • 목표: 코드의 구문적 정확성과 태스크 수준의 기하학적 충실도 사이의 간극을 좁힌다.
   • 방법: 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 이용한 강화 학습을 사용한다.
   • 보상 신호: 생성된 결과물(3D STL 또는 2D DXF)과 정답(ground truth) 사이의 Chamfer Distance(CD)를 기반으로 **연속적 기하학적 보상(Continuous Geometric Reward)**을 계산한다. 이는 로그-선형 감쇠 함수를 사용하여 단순한 이진 통과/실패가 아닌 부분적인 기하학적 정확도에 보상을 줌으로써 보상의 희소성 문제를 피한다.

인프라: ComForge

실제 환경에서의 대규모 학습을 지원하기 위해, 저자들은 수천 개의 동시 실행 가능한 Docker화된 Windows 환경을 호스팅하는 확장 가능한 플랫폼인 ComForge를 구축하였다.

• 이는 code_execute, gui_action, reset을 위한 통일된 인터페이스를 제공한다.
• 전문 소프트웨어의 비사소한(non-trivial) 실행 시간을 처리하기 위해 비동기 스케줄링을 지원하며, ms-swift GRPO 파이프라인과 통합된다.

3. 주요 기여

1. ComAct 패러다임: 취약한 GUI 상호작용을 대체하여, 실행 가능한 프로그램 합성을 위해 COM을 활용함으로써 전문 소프트웨어 자동화를 위한 통일된 액션 공간을 도입하였다.
2. ComCADBench: 실제 COM 인터페이스를 통해 실제 산업용 CAD 소프트웨어(SolidWorks, Inventor, AutoCAD)를 운용하는 에이전트를 평가하기 위한 최초의 벤치마크이다. 이는 7가지 엔지니어링 활동에 걸친 1,000개의 태스크와 장기 실행 멀티태스크 파이프라인을 포함한다.
3. ComForge & ComActor: 실제 환경 학습을 위한 확장 가능한 인프라와 3단계 프레임워크(SFT + RL)를 통해 학습되어 SOTA 성능을 달이는 자기 수정 에이전트를 제공한다.

4. 실험 결과

실험은 ComCADBench 및 외부 벤치마크(Text2CAD, CADPrompt)에서 수행되었다.

• 패러다임 격차: 최첨단 독점 모델(GPT-5, Qwen3.5)은 시각적 접지 오류로 인해 GUI 기반 상호작용 하에서 거의 0%에 가까운 성공률을 기록했다. 반면, COM 기반 액션으로 전환(Zero-shot)하자마자 비사소한 성능(예: 2D 스케치에서 최대 33% 성공률)이 즉각적으로 나타나, 프로그래밍 방식 백엔드의 타당성을 입증했다.
• ComActor 성능:
  • ComCADBench에서 9B 파라미터 규모의 ComActor는 GPT-5 및 Claude-Sonnet-4.6과 같은 독점 거대 모델들을 능가하는 SOTA(State-of-the-Art) 성능을 달성했다.
  • 멀티 태스크(Multi-Task) 시나리오(예: 모델링 후 간섭 탐지)에서 ComActor는 80% 이상의 엔드 투 엔드 성공률을 유지했으나, 베이스라인 모델들은 치명적인 실패 연쇄(failure cascades)를 겪었다.
  • 절제 연구(Ablation Studies): 3단계 학습이 필수적임이 증명되었다. 1단계는 코드 유효성을 확립했고, 2단계는 자기 수정을 가능하게 함으로써 유효율(Valid Rate)을 크게 개선했으며, 3단계(RL)는 유효한 코드와 기하학적 정확도 사이의 간극을 좁혀 최종 성공률을 단일 태스크에서 90% 이상으로 끌어올렸다.
• 일반화 능력:
  • Text2CAD에서 Inventor 백엔드를 사용하는 ComActor는 평균 Chamfer Distance 1.20을 기록하여, 특화 모델인 CAD-Coder(6.54)를 능가했다.
  • CADPrompt(도메인 외 데이터)에서 SolidWorks 백엔드를 사용하는 ComActor는 평균 CD 24.15를 달iah하여, COM 구문의 복잡성으로 인해 다소 높은 무효 코드 비율에도 불구하고 Text2CAD 및 CADmium보다 한 자릿수 더 뛰어난 성능을 보였다.

5. 의의 및 주장

본 논문은 ComAct가 전문 소프트웨어 자동화의 접근 방식을 "시각적 제어"에서 "시맨틱 프로그램 합성"으로 근본적으로 전환한다고 주장한다.

• 신뢰성: 시각적 레이어를 우회함으로써, 장기 실행 GUI 태스크에서 발생하는 오류 누적 문제를 제거한다.
• 보편성: COM은 다양한 전문 생태계(Office, Adobe, CAD) 전반에 걸쳐 통일된 인터페이스를 제공하여, API 기반 접근 방식의 파편화 문제를 해결한다.
• 실현 가능성: 결과는 적절한 액션 공간과 자기 수정 학습 프레임워크가 있다면, 이전에는 불가능했던 복잡하고 장기적인 산업 워크플로우를 에이전트가 안정적으로 실행할 수 있음을 보여준다.

저자들은 COM 가용성으로 인한 Windows 생태계 의존성 및 라이선스 문제로 인한 ComForge 내 비활성화 소프트웨어 인스턴스 사용 등의 한계를 언급하였다. 그러나 이러한 패러다임이 반드시 CAD에 국한된 것은 아니며, 더 넓은 전문 소프트웨어 생태계로 일반화될 수 있다고 주장한다.