기술 요약: EBuddy – 산업용 인간-기계 협업을 위한 워크플로우 오케스트레이터

1. 문제 정의

산업 작업 셀(workcell)은 스캐닝 소프트웨어, 데이터 파이프라인, 로봇 컨트롤러와 같은 이질적인 디지털 도구들을 협동 자동화와 점점 더 많이 통합하고 있습니다. 그러나 성능의 제약은 물리적인 로봇의 역량이 아니라, **워크플로우 결정 공간(workflow decision space)**에서 발생합니다. 운영자는 유효한 다음 단계를 결정하고, 파라미터를 선택하며, 예외 상황을 처리하고, 소프트웨어와 하드웨어 간의 핸드오버를 조정해야 합니다.

도메인 전문가들은 이러한 결정을 효과적으로 내릴 수 있는 노하우를 보유하고 있지만, 이 지식을 확장하는 데는 어려움이 따릅니다. 서로 다른 운영자나 교대 근무조에 따라 절차가 임의로 재구성될 경우, 실행 품질이 저하되고 반복 가능성이 떨어집니다. 초보자는 광범한 튜터링이 필요하여 전문가의 시간을 소모하게 되며, 중급 사용자는 최적의 경로에서 벗어나기도 합니다. 본 논문은 인간의 주체성을 제거하지 않으면서도, 전문가의 실무를 일관되고 해석 가능한 프레임워크로 구조화할 수 있는 시스템의 필요성을 제기합니다.

2. 방법론: EBuddy 아키텍처

EBuddy는 전문가의 지식과 운영자의 실행 사이의 간극을 메우기 위해 설계된 음성 안내형 워크플로우 오케스트레이터입니다. 이는 인간-기계 협업을 전문가의 지식이 명시적으로 인코딩되고 구조화된 '공유 오케스트레이션 프레임워크'로 정의합니다.

핵심 구성 요소

시스템 아키텍처는 다섯 가지 주요 구성 요소로 이루어집니다:

1. 역할 기반 상호작용 환경: 숙련도 수준(초보자, 중급자, 고급자)에 따른 사용자 책임을 관리합니다.
2. FSM 아키텍처: transitions Python 라이库를 사용하여 워크플로우를 유한 상태 머신(Finite State Machines, FSM)으로 구현합니다.
3. 도구 제어: 물리적 장치(ROS2 노드를 통해)와 GUI 기반 애플리케이션(프로그래밍 방식의 상호작용을 통해) 모두와 인터페이스합니다.
4. 사용자 인터페이스 (UI): 워크플로우 상태와 사용 가능한 명령을 시각적으로 표현합니다.
5. 언어 이해 파이프라인: 자동 음성 인식(ASR)과 문맥 인식 의도 파악을 결합합니다.

주요 기술 메커니즘

유한 상태 머신 (FSM) 형식론

EBuddy는 명시적인 프로세스 상태 표현을 우선시하기 위해 행동 트리(Behavior Trees, BTs) 대신 FSM을 활용합니다.

• 투명성: 시스템 상태는 명확한 레이블이 붙은 단일 활성 상태로 캡처되어 운영자에게 직접 노출되며 진단을 위해 로그로 기록됩니다.
• 제약 조건 강제: FSM은 자연어 이해(NLU)를 현재 상태에서 도달 가능한 유효한 전이(transition)로 제한합니다. 이는 도메인 제약 사항에 대한 내재적인 강제 메커니즘을 생성합니다.
• 모듈성: FSM은 계층적 구성을 지원하여, 워크플로우가 다른 FSM을 재귀적으로 호출하거나 외부 모듈을 호출할 수 있도록 합니다.
• 오토파일럿 (Autopilot): "점프 상태"(예: AutoPilotOn)를 통해 시스템이 전체 워크플로우를 자율적으로 실행할 수 있으며, 이는 초보자 교육 및 감독 없는 최적화된 전문가 프로세스 실행 모두에 유용합니다.

도구 통합

• 물리적 도구: ROS2 노드(예: Fanuc CRX-20i 코봇)를 통해 제어됩니다.
• GUI 애플리케이션: 직접적인 API가 없는 제3자 애플리케이션을 자동화하기 위해 UI 요소의 스크린샷을 캡처하고 사전 정의된 시퀀스(클릭, 양식 채우기 등)를 실행합니다. 또한 시각적 피드백(예: 특정 문자열 검색)을 모니터링하여 상태 머신을 업데이트합니다.

음성 상호작용 및 의도 인식

운영자는 RealWear Navigator 500 헤드셋을 사용합니다. 음성 처리 파이프라인은 다음과 같습니다:

• 온디바이스 처리: 음성 신호는 음성 활동 감지(VAD)에 의해 사전 필터링되며, 개인정보 보호를 위해 온디바이스에서 Whisper 기반 ASR 모델로 처리됩니다.
• 문맥 인식 NLU: NLU 모듈은 운영자의 질의를 수신하고 이를 현재 상태($c$)에서 사용 가능한 유효한 전이 세트와 비교합니다.
• 유사도 측정: 발화된 의도를 상태 전이에 매핑하기 위해 다음을 결합합니다:
  • 어휘적 유사도: 레벤슈타인 편집 거리($D_{Lev}$) 및 자카드 유사도($S_{Jac}$).
  • 의미적 유사로: 증류된 sentence-transformer 모델의 임베딩을 사용한 코사인 유사도($S_{cos}$).
• 의사결정 로직: 시스템은 배포 시 정의된 임계값(예: $\tau_{Scos} = 0.5$)에 대해 이 측정값들을 기준으로 전이 순위를 매깁니다. 일치도가 안전 임계값을 초과하면 전이가 실행되지만, 그렇지 않으면 시스템은 명령을 거부하거나 명확한 확인을 요청합니다.

사용자 역할 및 지식 전수

EBuddy는 세 가지 사용자 프로필에 적응합니다:

• 초보자: 단계별 가이드를 따르며, 동작을 확인하고 EBuddy의 실행을 관찰하며 학습합니다.
• 중급 사용자: EBuddy를 기본 인터페이스로 사용하지만, 로컬 결정(예: 옵션 선택, 파라미터 튜닝)을 내리고 일반적인 경고를 처리합니다.
• 고급 사용자: 워크플로우, 도구 프리미티브, 안전 가드레일 및 교육 콘텐츠를 정의하는 프로세스 작성자 역할을 수행합니다.

3. 사례 연구: 임펠러 수리 준비

본 시스템은 터보 기계 임펠러의 직접 에너지 퇴적(DED) 수리를 포함하는 산업 파일럿에서 검증되었습니다.

• 작업: 복잡한 임펠러 블레이드(얇고 깊은 틈이 있음)의 3D 스캐닝 및 수리 프로그램 생성.
• 도구: Artec Spider 스캐너(코봇에 장착), Artec Studio 16(GUI), 그리고 커스텀 파트 프로그램 생성기.
• 워크플로우: 프로세스는 스캐닝, 3D 프로세싱, 프로그램 생성을 다루는 FSM으로 모듈화되었습니다.

4. 결과

6명의 참가자를 대상으로 한 평가 캠페인에서 수동 베이스라인(지속적인 전문가 가이드)과 EBuddy 지원 실행을 비교했습니다.

정량적 결과:

• 운영자 시간: 868분(수동)에서 320분(EBuddy)으로 감소하여, 63% 감소했습니다.
  • 교육/온보딩: -47%
  • 스캐닝 및 3D 프로세싱: -73%
  • 수리 프로그램 생성: -70%
• 전문가 시간:
  • 초기 설정에는 770분이 소요되었습니다.
  • 이후 동행 시간은 총 30분으로 감소하여, 온보딩 지원이 90% 감소했습니다.
  • 사용자 기반이 확장됨에 따라 전문가 시간 절감 효과는 비례하여 증가하며, 전문가가 더 높은 가치의 업무에 집중할 수 있게 합니다.

정성적 결과:

• 반복 가능성: FSM 결정 프레임은 운영자 간의 일관된 실행을 보장했습니다.
• 워크로드: 참가자들은 낮은 인지적 부하, 더 편안한 자세, 데이터 재처리로 인한 시간 손실 감소를 보고했습니다.
• 기술의 민주화: 기술적 배경이 제한적인 사용자도 "명시적이고 가이드된 레시피"를 따름으로써 복잡한 워크플로우를 성공적으로 수행할 수 있었습니다.

5. 의의 및 주장

본 논문은 EBuddy가 단순한 음성 명령을 넘어 의사결정 중심의 워크플로우 오케스트레이션으로 패러다임을 전환함으로써, Industry 5.0의 인간-기계 협업을 향한 실용적인 단계를 나타낸다고 주장합니다.

주요 주장은 다음과 같습니다:

• 상태 기반 상호작용: 음성을 명시적인 FSM 결정 프레임 내에서 해석함으로써, 시스템은 운영자의 의도가 항상 유효한 프로세스 로직 내에 있도록 제한하며, 복잡한 외부 검증 레이어 없이도 유효하지 않은 동작을 방지합니다.
• 전문 지식의 확장성: 시스템은 전문가의 노하우를 모듈식의 읽기 가능한 아티팩트(JSON 워크플로우, 스크립트)로 구조화하여, 동기적인 전문가의 존재 없이도 초보자와 중급자에게 지식을 전달할 수 있게 합니다.
• 하이브리드 통합: EBuddy는 시각적 피드백과 상태 모니터링을 사용하여 격차를 메움으로써, 깊은 API 수준의 통합 없이도 이질적인 리소스(GUI 소프트웨어, 코봇, 데이터 파이프라인)를 성공적으로 조정합니다.
• 인간의 주체성: 완전 자율 시스템과 달리, EBuddy는 인간 운영자를 루프 안에 유지하여 워크플로우 결정에 대한 주체성을 유지하면서도 시스템이 오케스트레이션과 복구 전략을 강제하도록 합니다.

저자들은 이 접근 방식이 실행 마찰을 줄이고, 반복 가능성을 개선하며, 전문가의 가용성이 제한적인 환경에서 더 높은 처리량을 가능하게 한다고 결론짓습니다. 향러 연구는 더 넓은 범위의 검증, 정량적 품질 지표, 그리고 재사용 가능한 워크플로우 라이브러리 개발에 초점을 맞추고 있습니다.