기술 요약: ReasonBreak

문제 정의

중간 추론과 궤적 생성 간의 긴밀한 결합을 전제로 하는 통합 추론 기능이 있는 비전 - 언어 - 행동 (VLA) 모델이 종단 간 자율주행을 위해 점점 더 많이 제안되고 있습니다. 이전 연구는 로봇 조작 및 명시적 추론 구성 요소가 부재한 모델에서의 VLA 취약성을 탐구해 왔으나, 현실적인 입력 교란 하에서 추론 기능이 활성화된 VLA 시스템의 견고성은 여전히 largely 미탐구 상태로 남아 있습니다.

실제 배포 환경에서 이러한 시스템은 음성 - 텍스트 변환, 차량 내 대화와 같은 불완전한 언어 인터페이스에 의존하며, 환경 소음, 억양, 분할 오류 등이 텍스트 입력의 표면 형태를 손상시킬 수 있습니다. 이전 연구들은 자기회귀 언어 모델이 철자, 대소문자, 문자 수준의 노이즈와 같은 표면 형태 교란에 민감하여 모델 동작을 변경할 수 있음을 시사합니다. 그러나 이러한 교란이 안전이 중요한 자율주행 시스템에서 추론 - 행동 결합을 방해하여 충돌이나 도로 이탈과 같은 위험한 행동을 초래할 수 있는지 여부는 명확하지 않습니다.

방법론

저자들은 현실적인 텍스트 손상 하에서 추론 기능이 활성화된 VLA 모델의 취약성을 탐지하도록 설계된 체계적인 블랙박스 평가 프레임워크인 ReasonBreak를 소개합니다.

위협 모델

이 연구는 공격자가 모델 파라미터, 아키텍처, 또는 내부 상태에 접근할 수 없는 쿼리 기반 블랙박스 설정을 가정합니다. 공격자는 입력 쿼리를 통해 모델과 상호작용하고 출력 (추론 및 궤적) 을 관찰할 수 있을 뿐입니다. 공격은 임의의 악성 지시나 nonsensical 토큰을 주입하지 않고 텍스트 입력 표면의 의미 보존 교란 (예: 대소문자 변경, 단어 순서 뒤섞기, 문자 수준 노이즈) 으로 제한됩니다. 이는 입력 인터페이스가 노이즈를 유발할 수는 있지만 직접적인 악성 로직 주입은 허용하지 않는 현실적인 제약을 반영합니다.

평가 파이프라인

평가에는 명시적이고 구조화된 추론 출력을 가지며 궤적 예측과 긴밀하게 결합된 NVIDIA 의 Alpamayo 계열 모델 (Alpamayo1 및 Alpamayo1.5) 이 사용됩니다. 파이프라인은 다음과 같습니다:

1. 입력 구성: 시각 입력 ($v$) 을 고정하면서 깨끗한 지시 ($t$) 에서 교란된 텍스트 입력 ($t'$) 을 생성합니다.
2. 오픈 - 루프 분석: 적응형 교란 하에서 모델의 조작 가능성을 측정하기 위해 교란 공간을 탐색하고 공격 성공의 상한을 추정하는 Best-of-N 전략을 사용합니다.
3. 클로즈드 - 루프 분석: 쿼리 기반 검색 없이 매 시간 단계당 단일 교란된 입력을 샘플링하는 실제 배포 환경을 시뮬레이션합니다. 이는 시간에 따른 운전 역학에 대한 교란의 누적 영향을 포착합니다.
4. 지표:
   • 추론: 의미적 변화 (객체, 관계, 함의, 계획) 와 구조적 실패 (토큰 팽창을 통한 속도 저하, 토큰 누락에 의한 서비스 거부) 를 평가합니다.
   • 궤적: 오픈 - 루프에서는 평균 변위 오차 (ADE) 로, 클로즈드 - 루프에서는 자기 위치 편차로 측정합니다.
   • 안전: 충돌률, 근접 충돌률, 충돌까지의 시간 (TTC), 도로 이탈 사건, 그리고 잘못된 차선 발생 빈도로 정량화합니다.

주요 기여

1. 추론 취약성에 대한 최초의 체계적 연구: 이 논문은 자율주행 분야에서 추론 기능이 활성화된 VLA 모델에 대한 최초의 안전 중심 평가를 제시하며, 텍스트 교란과 추론 변화, 궤적 저하, 그리고 하류 안전 영향 간의 연관성을 규명합니다.
2. 별개의 공격 표면으로서의 추론: 저자들은 추론을 이전에 미탐구되었던 공격 표면으로 식별합니다. 현실적인 블랙박스 제약 하에서 추론의 의미 내용과 구조적 속성 (예: 길이) 모두 조작될 수 있으며, 이로 인해 안전이 중요한 실패가 발생할 수 있음을 입증합니다.
3. 벤치마크 및 데이터셋: 이 작업은 VLA 기반 자율주행에서 추론 - 안전 상호작용을 평가하기 위한 최초의 벤치마크와 데이터셋을 공개하며, 입력 조건을 중간 추론 출력 및 안전 결과에 매핑합니다.
4. 방어 메커니즘: 저자들은 대소문자 변환, 비알파누메릭 문자 제거, 토큰 수준 퍼지 교정과 같은 경량의 결정론적 규칙 기반 입력 정규화기를 제안하고 평가하여, 상당한 지연을 유발하지 않으면서 이러한 취약성을 크게 완화합니다.

실험 결과

이 연구는 NVIDIA Physical AI Autonomous Vehicles 데이터셋과 AlpaSim 시뮬레이터를 사용하여 Alpamayo1 (지도 학습) 과 Alpamayo1.5 (RL 사후 학습) 를 평가합니다.

• 높은 공격 성공률 (ASR):
  • 오픈 - 루프: 객체, 관계, 함의, 계획 대상에 대한 의미적 추론 공격은 Alpamayo1 에서 89%, Alpamayo1.5 에서 63% 까지 ASR 을 달성했습니다. 궤적 조작은 최대 34% 의 ASR 을 달성했습니다.
  • 클로즈드 - 루프: 현실적인 텍스트 교란은 Alpamayo1 에서 궤적 조작에 대해 72%, 의미적 추론 조작에 대해 62% 까지 ASR 을 달성했습니다.
• 안전 영향: 성공적인 공격은 충돌률 증가, 최소 TTC 감소, 그리고 도로 이탈 및 잘못된 차선 사건의 빈도 증가를 포함한 심각한 안전 저하로 이어졌습니다.
• 약한 추론 - 궤적 상관관계: 주요 발견 중 하나는 추론 변화와 궤적 편차가 약하게 상관되어 있다는 것입니다. 조작된 추론은 종종 해당 제어 변화를 유도하지 못하며, 큰 궤적 편차가 최소한의 추론 변화와 함께 발생할 수 있습니다. 이는 교란 하에서 추론과 행동 간의 의도된 긴밀한 결합이 취약함을 시사합니다.
• 구조적 공격: 의미적 공격보다 빈도는 낮았으나, "속도 저하" (과도한 토큰 생성) 와 "DoS" (출력 없음) 와 같은 구조적 실패가 관찰되었습니다. 속도 저하 공격은 실시간 주행에 중요한 상당한 지연 오버헤드를 도입했습니다.
• 모델 차이: Alpamayo1.5 는 Alpamayo1 에 비해 의미적 공격에 대한 견고성이 향상되었으나 여전히 취약했습니다. 특히, RL 사후 학습은 benign 견고성을 향상시키는 것으로 보였으나, 공격이 성공할 경우 특히 구조적 교란에 대해 안전 위험을 증폭시킬 수 있었습니다.

중요성 및 주장

이 논문은 자율주행 분야에서 추론 기능이 활성화된 VLA 시스템이 텍스트 입력 채널에서 고유하고 악용 가능한 취약성 표면을 가지고 있다고 주장합니다. 연구 결과는 다음과 같은 점을 강조합니다:

• 추론은 안전 보장이 아님: 중간 추론의 존재가 입력 교란에 대해 본질적으로 보호하지는 않으며, 오히려 추론 구성 요소 자체가 조작을 위한 벡터가 될 수 있습니다.
• 안전은 비선형임: 작은 표면 형태 교란이 클로즈드 - 루프 설정에서 누적되어 심각한 안전 위반을 초래할 수 있으며, 추론 출력이 일관되게 보이거나 궤적 편차가 초기에는 미미해 보이더라도 그렇습니다.
• 방어는 가능하지만 제한적임: 경량의 입력 정규화는 공격 성공을 현저히 줄여 표면 수준 교란에 대한 실용적인 첫 번째 방어선을 제공합니다. 그러나 저자들은 이것이 적응형 공격, 의미적 교란, 또는 시각적 도메인 공격을 해결하지는 않는다고 지적합니다.

저자들은 자율주행에 추론 기능이 활성화된 구체적 시스템을 배포하기 전에 추론 - 궤적 상호작용에 대한 엄격하고 안전 중심적인 평가가 필수적이라고 결론지었습니다. 그들은 더 강력한 실시간 방어 수단 개발과 부분적 또는 전체 모델 접근을 가진 적대자에 대한 추가 연구를 촉구하고 있습니다.