⚡ electrical engineering

Logic-VLA: A Temporal Logic Conditioned Vision-Language-Action Model

Logic-VLA는 구문 그래프 인코더를 통해 신호 템포럴 로직(Signal Temporal Logic) 명세를 통합하고 2단계 적응 과정을 거침으로써, 자연어 지시문에 대한 높은 성능을 유지하면서도 로봇 작업에서의 형식적 안전성과 시간적 요구사항 충족을 크게 향상시킨 새로운 시각-언어-행동(Vision-Language-Action) 모델이다.

원저자: Celina Shiyu Wang, Yiqi Zhao, Junjie Ye, Yue Wang, Jyotirmoy V. Deshmukh

게시일 2026-08-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Celina Shiyu Wang, Yiqi Zhao, Junjie Ye, Yue Wang, Jyotirmoy V. Deshmukh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 공학의 세계에는 인간이 기계에 요청하는 바와 기계가 실제로 수행하는 것 사이에 지속적인 간극이 존재합니다. 사람은 드론에게 "빨간 상자로 날아가"라고 말할 수 있고, 고급 시각 및 언어 능력을 갖춘 현대의 로봇은 종면 그 경로를 파악해 낼 수 있습니다. 그러나 자연어는 모호합니다. 자연어는 기계를 안전하게 유지하는 보이지 않는 경계나 복잡한 기동에 필요한 정확한 타이밍을 구체적으로 명시하는 경우가 드뭅니다. 사람은 드론이 테이블에서 몇 피트 떨어져 있을 것이라고 가정할 수 있지만, 단어만을 따르는 로봇은 가장자리에 부딪힐 수도 있습니다. 이를 해결하기 위해 연구자들은 다른 종류의 지침, 즉 시간과 공간을 수학적 확실성으로 설명하는 형식 언어로 눈을 돌리고 있습니다. 이 언어를 사용하면 인간은 단순히 목적지만 지정하는 것이 아니라, "장애물을 피하라" 또는 "특정 시점 이전에 도착하라"와 같은 여정의 규칙을 지정할 수 있습니다. 과제는 로봇이 원래의 작업을 잊지 않으면서도, 혹은 새로운 규칙이 생길 때마다 완전히 새로운 뇌를 필요로 하지 않으면서 이러한 엄격한 규칙을 듣는 법을 어떻게 가르칠 것인가 하는 점이었습니다.

서던 캘리포니아 대학교의 연구팀은 이 간극을 메우기 위한 새로운 접근 방식을 개발하여, 'Logic-VLA'라고 부르는 시스템을 만들었습니다. 이 시스템은 이미 인간의 명령을 따르는 방법을 알고 있는 로봇을 가져와, 엄격하고 시간 기반인 안전 규칙을 동시에 준수하도록 가르칩니다. 연구진은 두 가지 뚜렷한 단계가 포함된 방법으로 이 시스템을 훈련시켰습니다. 먼저, 로봇에게 인간의 지시와 안전 규칙을 모두 성공적으로 따른 비행 사례들을 보여주었습니다. 그다음, 더 정교한 학습 단계로 넘어가 로봇에게 규칙을 완벽하게 준수한 비행 쌍과 그렇지 못한 비행 쌍을 보여주었습니다. 이 쌍들을 비교함으로써 로봇은 좋은 비행과 나쁜 비행을 구별하는 법을 배웠으며, 새로운 규칙이 도입될 때마다 처음부터 다시 재학습할 필요 없이 안전한 경로를 선호하도록 자신의 행동을 조정했습니다.

연구진은 매우 현실적인 창고 시뮬레이션에서 이 시스템을 테스트했습니다. 가상 드론은 테이블, 상자, 지게차와 같은 장애물이 가득한 사실적인 환경 속을 항해했습니다. 연구진은 드론에게 "장애물을 통과하여 사람에게로 날아가라"와 같은 자연어 과제를 주는 동시에, 어떻게 행동해야 하는지에 대한 형식적인 규칙을 함께 입력했습니다. 이 규칙들은 "테이블에서 일정 거리 이상 떨어져 있어라" 또는 "특정 구역들을 특정 순서대로 방문하라"와 같이 매우 구체적일 수 있었습니다. 결과에 따르면, 이 새로운 시스템은 단어만을 듣는 표준 로봇보다 엄격한 규칙을 따르는 데 훨씬 더 성공적이었습니다. 테스트에서 Logic-VLA 시스템은 표준 시스템에 비해 안전 규칙 준수 능력이 24.8에서 40.7 퍼센트 포인트 향상되었습니다. 결정적으로, 이러한 개선은 원래의 임무 수행 능력을 희생시키지 않았습니다. 로봇의 주요 과제 완료 능력은 1.8 퍼센트 포인트 이내로만 감소했습니다. 이는 단일 로봇이 매번 새로운 시나리오를 위한 별도의 지침을 필요로 하지 않고도, 변화하는 복잡한 요구 사항에 맞춰 자신의 행동을 적응시키는 법을 배울 수 있음을 시사합니다.

이 성공의 핵심은 로봇이 지침을 처리하는 방식에 있습니다. 이 시스템은 안전 규칙을 단순히 읽어야 할 또 다른 문장으로 취급하는 대신, 규칙을 논리적인 구조의 지도로 변환합니다. 이 지도는 규칙을 피해야 할 특정 물체, 시간 제한, 그리고 그들 사이의 논리적 연결과 같은 핵심 구성 요소로 분해합니다. 연구진은 이러한 구조화된 접근 방식이 규칙을 단순한 텍스트로 읽는 것보다 훨씬 더 효과적이라는 것을 발견했습니다. 구조화된 시스템을 일반 문장으로 읽는 시스템과 비교했을 때, 구조화된 버전은 특히 훈련 중에 보지 못했던 새로운 규칙을 접했을 때 규칙을 훨씬 더 잘 준수했습니다. 또한 시스템은 비행을 시작하기 전, 이러한 논리적 지도의 의미를 이해하는 예비 훈련 단계를 통해 도움을 받았습니다. 이 사전 훈련을 통해 로봇은 규칙에 담긴 시간과 공간의 근본적인 개념을 파악할 수 있었고, 이는 새로운 도전에 직면했을 때 더 견고하게 대응할 수 있게 해주었습니다.

이 연구는 미래에 로봇이 어떻게 제어될 것인가에 대한 근본적인 변화를 강조합니다. 자연어의 막연한 유연성이나 미리 프로그래밍된 코드의 경직된 제약에만 의존하는 대신, 이 방식은 두 가지의 역동적인 결합을 가능하게 합니다. 로봇은 자연스러운 명령을 이해하는 능력을 유지하면서도 형식 논리의 정밀함을 얻게 됩니다. 시뮬레이션에서 이 시스템은 시간 제한과 공간적 제약의 새로운 조합과 같이 한 번도 본 적 없는 규칙에도 일반화할 수 있는 능력을 입증했습니다. 이는 로봇이 단순히 특정 정답을 암기하는 것이 아니라, 복잡한 조건을 충족하는 방법에 대한 더 깊은 이해를 배우고 있음을 시사합니다. 연구진은 시스템이 통제된 시뮬레이션에서는 탁월한 성능을 보였지만, 궁극적인 목표는 이와 동일한 논리를 실제 세계의 로봇에 적용하는 것이라고 언급했습니다. 실제 환경에서는 복잡한 과업을 수행하는 능력을 잃지 않으면서도 엄격한 안전 요구 사항에 적응하는 능력이 필수적이기 때문입니다. 이 연구는 인간 운영자의 의도와 안전한 환경을 위한 엄격한 제약을 모두 존중하는 하나의 적응 가능한 정책을 만드는 것이 가능하다는 것을 보여줍니다.

기술 요약: Logic-VLA

문제 정의
시각-언어-행동(Vision-Language-Action, VLA) 모델은 자연어(NL) 지시로부터 다양한 과업을 수행하는 데 있어 상당한 진전을 보여주었습니다. 그러나 자연어 지시는 안전이 중요한(safety-critical), 시공간적(spatiotemporal), 또는 반응적(reactive) 제약 조건(예: 특정 여유 마진 유지, 엄격한 순서에 따른 지역 방문, 또는 마감 기한 준수 등)을 명시하는 데 필요한 정밀도가 부족한 경우가 많습니다. 신호 템포럴 로직(Signal Temporal Logic, STL)은 이러한 궤적 수준의 요구사항을 위한 형식 언어를 제공하지만, 기존의 VLA 모델은 이를 기본적으로 지원하지 않습니다. 핵심 과제는 각 명세(specification)마다 별도의 정책을 재학습시키거나 원래의 자연어 과업 수행 능력을 저하시키지 않으면서, 사전 학습된 VLA를 배포 시점의 형식적 요구사항에 적응시키는 것입니다.

방법론: Logic-VLA
저자들은 자연어 과업과 형식적인 STL 명세를 모두에 조건화(conditioning)하는 VLA 정책인 Logic-VLA를 제안합니다. 이 접근 방식은 세 가지 주요 구성 요소로 이루어집니다:

구문 그래프 STL 인코더 (Syntax-Graph STL Encoder):
- 시스템은 STL 수식을 유향 구문 그래프(directed syntax graphs)로 표현하는 TeLoGraF 아키텍처 기반의 로직 인코더를 사용합니다.
- 노드는 불리언 연산자, 시간 연산자(예: Until, Globally), 그리고 술어 비교(predicate comparisons)를 인코딩합니다.
- 사전 학습(Pre-training): 인코더는 궤적-수식 쌍(trajectory-formula pairs) 데이터셋을 사용하여 보조 목적 함수인 **강건한 의미론(robust semantics, $\rho$ )**을 예측하도록 사전 학습됩니다. 이를 통해 인코더는 단순히 구문 구조를 넘어 로직의 의미론적 의미(궤적이 수식을 얼마나 잘 만족하는지)를 포착할 수 있습니다. 결과물인 임베딩은 VLA의 조건화 토큰 공간으로 투영됩니다.
2단계 사후 학습 프레임워크 (Two-Stage Post-Training Framework):
정책 적응은 요구사항 충족과 과업 보존 사이의 균형을 맞추기 위해 두 단계로 진행됩니다:
- 1단계: STL 조건부 지도 미세 조정 (STL-Conditioned Supervised Fine-Tuning, SFT): 특정 STL 요구사항을 만족하는 데몬스트레이션 데이터셋을 통해 모델을 미세 조정합니다. 이 단계는 모델이 STL 입력을 조건으로 하여 형식적 제약을 준수하는 행동을 모방하도록 가르칩니다.
- 2단계: 궤적 수준 선호도 최적화 (Trajectory-Level Preference Optimization): 정책을 정교화하고 고품질 실행과 저품질 실행을 구분하기 위해, 저자들은 **항등 선호도 최적화(Identity Preference Optimization, IPO)**를 사용합니다. 동일한 과업과 STL 요구사항에 대해 만족하는 궤적( $p^+$ $p^{+}$ )과 위반하는 궤적( $p^-$ $p^{-}$ )의 쌍을 구성합니다.
  - 기본 정책( $\pi_{0.5}$ 기반)이 likelihood 기반 모델링이 아닌 flow-matching을 사용하므로, 저자들은 IPO에 필요한 로그 정책 비율(log-policy ratios)을 근사하기 위해 **flow-matching 손실 대리물(loss surrogate)**을 사용합니다.
  - 위반하는 궤적에 대한 마진을 높이려 할 때 만족하는 궤적에 대한 성능이 저하되는 것을 방지하기 위해 "선호 롤아웃 앵커(preferred-rollout anchor)"를 도입합니다.
추론 (Inference):
추론 시, Logic-VLA 정책은 시각적 관측, 자연어 과업, 그리고 특정 STL 수식(학습 시 보지 못한 수식일 수 있음)을 결합하여 조건화합니다.

주요 기여

Logic-VLA 아키텍처: 구문 그래프 인코더를 통해 구조화된 형식적 요구사항(STL)을 멀티모달 입력과 융합하는 새로운 VLA입니다.
2단계 적응: 만족하는 데몬스트레이션에 대한 SFT와 만족-위반 쌍에 대한 궤적 수준 선호도 최적화를 결리한 사후 학습 프레임워크입니다.
일반화 능력: 각 특정 명세마다 재학습할 필요 없이, 추론 시 다양한 형식적 요구사항에 적응할 수 있는 능력입니다.

실험 결과
저자들은 10개의 무작위 포토리얼리스틱 창고 환경에서 폐루프 쿼드콥터 내비게이션 시뮬레이션을 통해 Logic-VLA를 평가했습니다. 평가는 세 가지 설정(학습 중 본 수식, 파라미터가 보이지 않는 수식, 구조적 템플릿이 보이지 않는 수식)을 포함합니다.

STL 만족도: Logic-VLA는 모든 설정에서 STL-blind 베이스라인 정책 대비 STL 만족도를 24.8 ~ 40.7 퍼센트 포인트 향상시켰습니다.
과업 보존: 결정적으로, 이러한 향상은 명목상 자연어 과업 성공률의 저하가 최대 1.8 퍼센트 포인트에 불과할 정도로 미미했습니다.
베이스라인과의 비교:
- STL-SFT (SFT만 사용): 만족도는 개선되었으나 Logic-VLA보다 성능이 낮았으며, 이는 모방만으로는 견고한 요구사항 준수가 불충분함을 나타냅니다.
- Smooth Robust Semantics Optimization: 강건한 의미론을 직접 최대화하는 방식은 만족도를 높였으나 심각한 트레이드오프를 일으켜, 일부 설정에서 자연어 과업 성공률을 약 68%에서 45%로 크게 떨어뜨렸습니다. Logic-VLA는 선호도 최적화를 사용하여 이 트레이드오프를 피했습니다.
절제 연구 (Ablation Studies):
- 인코더 사전 학습: 강건한 의미론을 기반으로 한 STL 인코더의 사전 학습은 랜덤 초기화 방식보다 성능이 현저히 우수했습니다.
- 구조적 인코딩 vs 프롬프팅: 구문 그래프 인코더를 사용하는 것이 STL 수식을 자연어 프롬프트에 텍스트로 단순히 추가하는 것보다 특히 보지 못한 구조에 대한 일반화 측면에서 더 뛰어난 성능을 보였습니다.

의의 및 주장
본 논문은 Logic-VLA가 각 명세마다 별도의 정책을 구축할 필요 없이 다양한 형식적 요구사항에 적응할 수 있는 단일 VLA임을 입증한다고 주장합니다. 형식적 로직을 고정된 보상이나 안전 필터가 아닌 하나의 조건화 신호로 취급함으로써, 방법론은 복잡한 시공간적 제약을 준수하면서도 사전 학습된 VLA의 일반적인 능력을 보존합니다. 결과는 형식적 로직이 역동적인 환경에서 체화된 에이전트(embodied agents)를 안전이 중요한 요구사항에 적응시키는 효과적인 메커니즘이 될 수 있음을 시사합니다.

유사한 논문