Talk to Me, Jarvis: An Open-Source Edge-Deployable Voice Assistant Framework for Autonomous Racecars

기술 요약: Jarvis – 자율 주행 레이스카를 위한 오픈 소스 엣지 배포 가능 음성 비서

문제 정의

자율 주행 레이싱에서는 의사 결정이 찰나의 순간에 이루어지므로, 속도와 신뢰성을 최우선으로 하는 소프트웨어 시스템이 요구됩니다. 자율 주행 차량은 높은 수준의 자율성을 갖추고 있지만, 인간 운영자는 여전히 고수준의 행동 명령(예: "시작", "정지", "피트 레인")을 내리거나 예상치 못한 트랙 상황에 대응하기 위한 메커니즘이 필요합니다. GUI(그래픽 사용자 인터페이스)나 커맨드 라인과 같은 전통적인 인터페이스는 시각적 주의력을 필요로 하며, 이는 반응 시간을 늦추고 실시간 텔레메트리에 대한 집중력을 분산시킵니다.

음성 비서는 핸즈프리 대안을 제공하지만, 시간 민감도가 높은 레이싱 시나리오에 이를 배치하는 데에는 다음과 같은 중대한 장애물이 존재합니다:

1. 지연 시간 및 네트워크 의존성: 온라인 기반의 대규모 언어 모델(LLM)은 가변적인 추론 지연 시간을 초래하며 안정적인 네트워크 연결을 필요로 하는데, 이는 초 단위의 결단이 필요한 레이싱 상황에 적합하지 않습니다.
2. 의미론적 불일치(Semantic Mismatch): 자연어는 경계가 없으나, 차량 제어는 제한된 명령 세트를 필요로 합니다. 운영자는 "정지" 명령을 다양한 방식("멈춰", "차를 세워줘" 등)으로 표현할 수 있으며, 이러한 변형을 특정 동작으로 매핑하기 위해서는 강력한 의도 인식 능력이 필요합니다.
3. 자원 제약: 이동형 레이싱 환경의 엣지 하드웨어는 계산 능력이 제한적이므로, 추론 속도를 저해하지 않으면서도 가벼운 모델을 사용해야 합니다.

LLM4AD와 같은 기존 솔루션은 일반적인 승객 편의를 위해 클라우드 기반 API를 활용하지만, 높은 지연 시간과 네트워크 의존성 문제를 겪습니다. 반면, 경량화된 소형 언어 모델(SLM)은 특화된 작업에서 유망한 성능을 보여주었으나, 명령 분류의 정확도를 높이기 위해서는 도메인 특화 적응 과정이 필요합니다.

본 연구진은 개발한 Jarvis는 자율 주행 레이스카의 고수준 제어를 위해 설계된 오프라인, 엣지 배포 가능 음성 비서 아키텍처입니다. 이 시스템은 세 가지 주요 구성 요소로 통합됩니다:

1. 시스템 아키텍처

Jarvis는 차량의 온보드 소프트웨어(ROS2 기반)와 인터페이스하는 베이스 스테이션 내의 독립형 모듈로 작동합니다. 워크플로우는 다음과 같습니다:

• 웨이크 워드(Wake-Word) 감지: openWakeWord 프레임워크를 사용하여 키워드 스포팅을 통해 "Hey Jarvis!"라는 트리거 문구를 지속적으로 모니터링합니다.
• 음성-텍스트 변환 (STT): 활성화되면 시스템은 OpenAI의 경량 영어 전용 Whisper ("base.en") 모델을 사용하여 로컬에서 전사를 수행합니다. 이는 네트워크와 독립적인 처리를 보장합니다.
• 의도 분류 (Intent Classification): 전사된 텍스트는 미세 조정된 LLM에 의해 처리되어 미리 정의된 행동 명령(예: 속도 목표, 피트 레인 요청)으로 매핑됩니다.
• 확인 및 실행: 시스템은 텍ex-to-Speech (TTS) 모듈(Coqui TTS with VITS)을 통해 청각적 피드백을 제공합니다. 결정적으로, 운영자가 명령을 확인해야만 명령이 베이스 스테이션으로 전송되며, 여기서 안전 점검을 거친 후 차량으로 전달됩니다.

2. 모델 개발 및 미세 조정

핵심 혁신은 텍스트-명령 분류기에 있습니다. 저자들은 적절한 모델을 선택하기 위해 다양한 온라인 및 로컬 모델을 평가하였으며, 도메인 특화 미세 조정을 위해 Mistral 7B를 선정했습니다.

• 데이터셋 준비: 초기 85개의 샘플 데이터셋은 학습에 불충분했습니다. 저자들은 GPT-4를 활용한 증강 기법(유의어 교체, 패러프레이징, 재배열)을 사용하여 이를 1,645개(17개 명령 클래스 + 1개의 범위를 벗어난 클래스)로 확장했습니다.
• 학습 파이프라인: 팀은 자원 제한적인 하드웨어(NVIDIA GeForce RTX 3060 노트북 GPU)에서도 효율적인 미세 조정을 가능하게 하는 Unsloth 프레임워크와 4비트 양자화를 적용한 QLoRA(Quantized Low-Rank Adaptation)를 채택했습니다.
• 최적화: 학습률, 에포크, 그래디언트 누적 단계, LoRA 랭크에 대해 그리드 서치를 수행했습니다. 프로세스는 두 단계로 진행되었습니다: 먼저 최적의 모델 아키텍처를 식별하기 위해 일부 명령에 대한 초기 미세 조정을 수행한 후, 전체 데이터셋에 대해 완전한 미세 조정을 실시했습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 비교 분석: 온라인 호스팅 모델(예: GPT-4, GPT-3.5)과 로컬에 배포된 오픈 웨이트 모델을 비교하여, 추론 지연 시간과 의도 인식 정확도 사이의 트레이드오프를 평가하는 벤치마크를 제시했습니다.
2. 미세 조정 파이프라인: 경량 로컬 모델(Mistral 7B)을 적응시켜 클라우드 기반 대안보다 우수한 의도 인식 정확도를 유지하면서 낮은 지연 시간을 달una하는 과정을 입증했습니다.
3. 오픈 소스 프레임워크: 웨이크 워드 감지, 로컬 STT, 명령 분류가 통합된 오픈 소스, 오프라인 음성 비서 아키텍처를 공개하고 모바일 하드웨어에서 검증했습니다.

실험 결과

평가는 의도 분류 정확도와 추론 시간에 중점을 두었습니다.

• 베이스라인 성능: 초기 벤치마크 결과, 온라인 모델(예: GPT-4o)은 적절한 정확도(74–85%)를 달성했으나 높은 지연 시간(3.38초 ~ 21.08초)을 보였습니다. 로컬 모델(예: Llama 3.2 3B)은 낮은 지연 시간(<0.5초)을 가졌으나 초기 정확도가 매우 낮았습니다(<25%).
• 미세 조정 성능: 두 단계의 미세 조정을 거친 후, Mistral 7B 모델은 다음의 성과를 거두었습니다:
  • 정확도: 테스트 세트에서 **97.63%**의 분류 정확도를 달성하여, 평가된 모든 클라우드 기반 모델을 능가했습니다. 이 결과는 전체 데이터셋에 대해 완전한 미세 조정을 거친 후, 표 III에 명시된 대로 구성된 최적의 성능 모델로부터 얻은 것입니다.
  • 지연 시간: 토큰화된 입력부터 최종 토큰 생성까지의 엔드 투 엔드 평균 처리 시간은 1.39초였습니다.
• 효율성 이점: 미세 조정 과정은 모델의 정확도를 초기 27.06%에서 97.63%로 향상시켰으며, 이는 4비트 양자화된 하드웨어에서 7B 규모의 모델을 도메인 특화 적응시키는 것이 매우 효과적임을 입증합니다.

의의 및 주장

저자들은 좁게 정의된 명령 분류 작업의 경우, 경량 로컬 언어 모델의 도메인 특화 미세 조정이 더 큰 온라인 호스팅 시스템보다 뛰어난 성능을 낼 수 있다고 주장합니다.

논문에서 강조된 주요 시사점은 다음과 같습니다:

• 결정론적 성능: 완전히 온디바이스(on-device)로 작동함으로써, Jarvis는 네트워크 의존성을 제거하여 연결 상태와 관계없이 일관된 동작을 보장합니다.
• 엣지 실행 가능성: 미세 조정된 7B 모델을 노트북급 GPU(RTX 3060)에서 성공적으로 배포한 것은, 자원 제한적인 엣지 하드웨어에서도 고성능 의도 인식이 가능하다는 것을 증명합니다.
• 안전 및 제어: 시스템은 확인 루프와 엄격한 명령 검증을 통해 안전을 최우선으로 하며, 이는 의도치 않은 동작이 치명적일 수 있는 고속 레이싱에 적합합니다.

결론적으로, 현재 시스템은 사전 정의된 명령 공간과 합성 데이터 증강에 국한되어 있으나, 저지연 및 네트워크 독립성이 필수적인 자율 시스템을 위한 견고한 오픈 소스 기반을 제공합니다. 향후 연구로는 다회차 대화(multi-turn dialogue) 및 양방향 텔레메트리 쿼리가 제안되었습니다.