💻 computer science

Not What You Asked For: Typographic Attacks in Household Robot Manipulation

본 논문은 비전 - 언어 모델을 활용하는 가정용 로봇에 대한 타이포그래피 공격이 시각적 판단을 우회하여 물리적 결과를 초래하는 조작 실패를 유발할 수 있음을 입증하며, 로봇의 의미 지도를 오염시켜 물체의 잘못된 집기와 이송을 초래함으로써 시뮬레이션 환경에서 67.8% 의 성공률을 달성함을 보여줍니다.

원저자: Ali Iranmanesh, Peng Liu

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Iranmanesh, Peng Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

가정용 로봇을 조금은 순진하지만 도움이 되는 조수라고 상상해 보세요. 이 로봇은 세상을 이해하는 두 가지 주요 방식을 가지고 있습니다:

눈 (시각): 로봇은 물체를 보고 "저건 커피 머그컵처럼 보이네"라고 말합니다.
뇌 (언어): 로봇은 "커피 머그컵을 가져다주세요"라는 당신의 명령을 듣고, 그 단어를 자신이 보는 것과 매칭합니다.

현대 로봇에서는 이 두 시스템이 단일한 "뇌"(비전 - 언어 모델이라고 함) 에 붙여져 있습니다. 이는 로봇이 재학습 없이도 수천 가지 새로운 사물을 이해할 수 있게 해주기 때문에 훌륭합니다. 그러나 해당 논문은 이 '접착제'가 위험한 허점을 만들어낸다고 주장합니다.

"마법 스티커" 트릭

연구진들은 완전히 다른 물체—예를 들어 토스터, 신발, 또는 램프—위에 **"커피 머그컵"**이라고 인쇄된 종이 조각을 붙이면 로봇의 뇌가 혼란에 빠진다는 사실을 발견했습니다.

로봇의 "언어" 부분과 "시각" 부분이 너무 긴밀하게 연결되어 있기 때문에, 로봇은 물체의 모양과 색상을 보기를 멈추고 대신 먼저 텍스트를 읽고 나중에 보게 됩니다. 로봇은 "커피 머그컵"이라는 단어를 보고 즉시 "아, 이건 분명 커피 머그컵이야"라고 결정하며, 실제로는 토스터라는 사실을 완전히 무시합니다.

연쇄 효과: 한 번의 눈길에서 잡기까지

이것이 위험한 이유는 로봇이 토스터를 머그컵으로 생각한다는 점뿐만 아니라, 그 다음에 일어나는 일 때문입니다.

중독된 지도: 로봇은 단순히 실수를 저지르는 것이 아니라, 이 오류를 방의 영구적인 3 차원 정신 지도에 기록합니다. 마치 로봇이 "이건 머그컵이야"라고 적힌 스티커 메모를 만들어 자신의 기억 속 토스터에 붙이는 것과 같습니다.
맹목적 신뢰: 로봇이 한 번 떠나 다시 돌아오거나, 스티커가 시야에서 가려지더라도 로봇은 여전히 자신의 정신 지도를 신뢰합니다. "내가 전에 적어두었으니, 저기에 머그컵이 분명히 있어"라고 생각하기 때문입니다.
운동적 실패: 로봇은 그 후 실제로 걸어 가서 토스터를 집어 들고, 당신에게 건네거나 컵 홀더에 넣으려 합니다.

이 논문은 이를 **"운동적 실패 (Kinetic Failure)"**라고 부릅니다. 이는 로봇이 잘못된 말을 하는 단순한 소프트웨어 결함이 아니라, 로봇이 잘못된 물체에 매몰되어 집 안을 돌아다니며 물체를 운반하는 물리적 행동입니다.

실험: 어떻게 테스트했는지

연구진들은 실제 가정의 실제 로봇으로 이를 테스트할 수 없었습니다 (비용이 너무 많이 들고 위험하기 때문). 대신 Habitat이라는 매우 사실적인 비디오 게임 시뮬레이션을 사용했습니다.

설정: 이미 물체를 찾고 집어 올리는 데 능숙한 로봇을 사용했습니다.
공격: 목표 물체의 이름 (예: "컵") 이 적힌 인쇄된 스티커를 무작위 근처 물체 (방해물) 에 부착했습니다.
결과: 로봇이 이미 작업을 수행할 능력이 있었던 59 가지 구체적인 테스트 시나리오 중, 스티커 트릭이 로봇을 속인 비율은 **67.8%**였습니다.

가장 성공적인 사례들에서 로봇은 단순히 잘못된 물건을 집어 올린 것이 아니라, 잘못된 물체로 성공적으로 이동하여 그것을 집어 들고 방 전체를 운반한 뒤 올바른 위치에 놓으려 했습니다. 로봇은 실수에 완전히 "매몰"된 상태였습니다.

이것이 중요한 이유 (논문에 따르면)

이 논문은 이전 연구들이 스티커가 로봇을 잘못된 장소로 이동하게 만드는 방식 (예: 드론이 잘못된 지붕으로 날아가는 경우) 을 살펴보았다고 강조합니다. 하지만 스티커가 로봇을 물리적으로 잘못된 물건을 집어 들고 이동하게 만드는 것을 보여준 것은 이번이 처음입니다.

위험한 점은 로봇의 "기억"(3 차원 지도) 이 독을 유지한다는 것입니다. 스티커를 제거하더라도 로봇의 내부 지도가 손상되었기 때문에 로봇은 여전히 잘못된 물건을 집으려 할 수 있습니다.

제안된 해결책

저자들은 로봇의 "눈"만 고쳐 텍스트를 무시하게 해서는 안 된다고 제안합니다. 대신 로봇이 기억을 사용하는 방식을 바꿔야 합니다. 그들은 세 가지 안전 장치를 제안합니다:

이중 확인: 한 번의 눈길만 믿지 마십시오. 로봇이 영구 기억에 기록하기 전에 물체를 다른 각도에서 보게 하십시오.
텍스트 식별: "잠깐, 이 물체에 스티커가 붙어 있어. 아직 라벨을 신뢰하지 마"라고 말하는 보조 시스템을 도입하십시오.
최종 확인: 로봇이 실제로 물체를 잡기 직전, 속지 않았는지 확인하기 위해 한 번 더 보게 하십시오.

간단히 말해: 글자가 적힌 종이 한 장이 똑똑한 로봇을 토스터를 컵으로 착각하게 만들 수 있으며, 로봇은 그 토스터를 기꺼이 부엌 조리대로 운반할 것입니다. 이 논문은 이것이 미래 가정용 로봇에게 실제적인 물리적 위험임을 증명합니다.

기술 요약: 가정용 로봇 조작에서의 타이포그래피 공격

문제 제기
시각-언어 모델 (VLM, 예: CLIP) 을 활용하는 오픈-보카불러리 임베디드 AI 에이전트는 시각 및 언어 특징을 정렬하기 위해 공유 임베딩 공간에 의존합니다. 이는 재학습 없이 수천 가지 물체 카테고리를 식별할 수 있는 유연성을 제공하지만, 타이포그래피 공격에 대한 구조적 취약점을 초래합니다. 이러한 공격에서 물리적 장면의 인쇄된 텍스트는 모델의 시각적 판단을 의미론적으로 대체하여, 에이전트가 물체의 외관이 아닌 텍스트에 기반하여 물체를 오분류하게 만듭니다.

이전 연구 (예: SCAM, CHAI) 는 정적 2D 벤치마크 및 고수준 항법 작업 (드론, 지상 차량) 에서 이 위협을 정량화했으나, 가정용 로봇 조작에 미치는 영향은 아직 조사되지 않았습니다. 조작 에이전트는 항법 에이전트와 결정적으로 다릅니다. 오분류는 단순히 어디로 가야 하는지에 대한 잘못된 결정이 아니라, 무엇을 잡아야 하는지에 대한 잘못된 결정이기 때문입니다. 모듈식 조작 파이프라인에서 지각 오류는 영구적인 3D 의미 지도에 기록되어 전체 감각 - 계획 - 행동 (Sense-Plan-Act) 루프를 통해 전파됩니다. 그 결과 **운동적 실패 (kinetic failure)**가 발생하여, 에이전트는 잘못된 물체를 물리적으로 집어 목표 수용기로 운반함으로써 에피소드 내 세계의 상태를 되돌릴 수 없게 변경합니다.

방법론
저자들은 Habitat 시뮬레이션 환경과 HomeRobot 벤치마크를 사용하여 이 위협을 평가합니다. 조작 에이전트에 대한 공격 평가의 특정 과제를 해결하기 위해, 저자들은 분리된 지각 아키텍처를 도입합니다:

수정된 OvmmPerception 모듈: 표준 HomeRobot 에이전트는 공간 제안 및 의미 라벨링 모두에 DETIC 를 사용합니다. DETIC 는 타이포그래피 공격에 취약하지 않습니다. 저자들은 기하학적 그라운딩 (바운딩 박스, 마스크, 깊이) 에는 DETIC 를 유지하되, 최종 물체 분류를 위한 병렬 임계값 게이트 오버라이드 메커니즘으로 동결된 CLIP 인코더를 도입합니다.
공격 메커니즘: 적대자는 에이전트의 항법 경로에 있는 방해 물체에 목표 물체의 이름 (예: "컵") 이 적힌 물리적 스티커를 부착합니다. 스티커가 DETIC 바운딩 박스 컷에 진입하고 CLIP 텍스트 - 이미지 유사도 점수가 임계값 ( $\theta = 0.28$ ) 을 초과하면, CLIP 이 DETIC 의 라벨을 오버라이드합니다.
지속성: 오분류된 라벨은 **3D 의미 볼륨 맵 (3D Semantic Voxel Map)**에 기록됩니다. 이 맵은 공간 캐시 역할을 하므로, 일단 오염되면 스티커가 시야에서 사라진 후에도 에이전트는 여전히 적대적 표적을 향해 항행하고 집어 올립니다.
평가 풀: 1,199 개의 에피소드로 구성된 검증 세트에서 저자들은 59 개의 귀속 가능 에피소드를 분리합니다. 이는 공격받지 않은 에이전트가 완전히 성공하거나 최종 배치 단계에서만 실패한 에피소드들입니다. 이 필터링은 관찰된 모든 편차가 기존 에이전트의 한계가 아닌 타이포그래피 교란에 의해 명확하게 유발되었음을 보장합니다.

주요 기여

새로운 공격 표면의 식별: 이 논문은 오류가 물리적 잡기 행동으로 전파된다는 점에서 항법과 구별되는, 타이포그래피 공격에 대한 조사되지 않은 영역으로서 가정용 로봇 조작을 공식화합니다.
참고 아키텍처: 저자들은 하류 운동적 실패의 통제된 평가를 가능하게 하기 위해 시각 - 언어 정렬 단계를 분리하여, 배포된 시스템 (예: EmbCLIP, TidyBot) 을 반영하는 대표적인 오픈-보카불러리 조작 스택을 구현합니다.
정량화된 운동적 실패: 이 연구는 타이포그래피 오분류가 로봇이 물리적으로 잘못된 물체를 전달하는 "운동적 실패"로 이어짐을 입증하며, 이는 이전의 2D 또는 항법 전용 벤치마크에서는 포착되지 않은 실패 모드입니다.
통제된 평가: 이 연구는 통제되지 않은 물리적 조건 (비최적화 시야각, 가림) 하에서 확인된 지각 결함이 전체 스택 조작 파이프라인을 통해 어떻게 전파되는지에 대한 최초의 통제된 평가를 제공합니다.

결과
평가에는 스티커의 지각 최적화 없이 59 개의 귀속 가능 에피소드가 수행되었습니다:

공격 성공률 (ASR): 공격은 전체 ASR 67.8% (59 개 중 40 개) 를 달성했습니다.
- 완전히 성공한 에피소드 ( $E^*_f$ ) 중 ASR 은 70.0% (10 개 중 7 개) 였습니다.
- 부분적으로 성공한 에피소드 ( $E^*_p$ ) 중 ASR 은 67.3% (49 개 중 33 개) 였습니다.
메커니즘: 성공한 공격의 92.5% 에서 에이전트는 스티커를 직접 집었습니다. 7.5% 에서 에이전트는 스티커가 DETIC 컷의 배경에 보여 배경 분류 실패를 유발했기 때문에 스티커 앞의 물체를 집었습니다.
지속성: 성공한 공격의 100% 에서 에이전트는 오염된 3D 볼륨 맵에 저장된 좌표를 기반으로 집기 행동을 수행했습니다. 이는 종종 장면을 배회한 후 표적으로 돌아오는 것을 포함하며, 단일 오염된 기록이 이후 안전 마진을 우회함을 확인시켜 줍니다.
실패 모드: 공격은 실패 분포를 변경했습니다. 공격받지 않은 에이전트는 주로 물체 항행 중 (71.7%) 실패한 반면, 공격으로 인한 실패는 배치 (Place) 단계에 집중되었습니다. 공격은 두 가지 뚜렷한 결과를 초래했습니다:
- 납치된 배송: 에이전트가 잘못된 물체를 집어 배치하는 전체 루프를 성공적으로 완료한 경우 (7 건).
- 악의적 운송: 에이전트가 잘못된 물체를 집어 수용기로 운반했으나 최종 배치 단계에서만 실패한 경우 (33 건).

의의 및 주장
이 논문은 타이포그래피 오분류가 모듈식 조작 파이프라인의 안전에 대한 실제적이고 측정 가능하며 물리적 결과를 초래하는 위협임을 입증한다고 주장합니다. 그 의의는 프린터와 짧은 접근 권한만 필요한 저자원 물리적 적대자가 에이전트의 공간 기억을 오염시켜 운동적 실패를 유도할 수 있음을 보여준 데 있습니다.

저자들은 이 취약점이 CLIP 및 SigLIP 와 같은 후속 모델에 영향을 미치는 결합된 시각 - 언어 임베딩 패러다임에 구조적으로 내재되어 있음을 강조합니다. 인코더 수준의 방어 (예: Dyslexify, Defense-Prefix) 는 오분류율을 감소시킬 수 있지만, 영구적 맵의 단일 오염된 항목이 에이전트를 잘못된 행동으로 몰아넣는 아키텍처적 조건은 해결하지 못한다고 주장합니다. 따라서 이 논문은 운동적 몰입 전에 다단계 검증 (예: 다중 뷰 확인, 잡기 시 재쿼리) 을 요구하여 VLA 분류기 출력을 신뢰할 수 없는 입력으로 취급하는 아키텍처적 완화 조치를 옹호합니다.