로봇이 단순히 엄격한 명령 목록을 따르는 투박한 기계가 아니라, 당신이 말하는 것을 이해하고 당신이 하는 행동을 보는 영리한 조력자가 되는 세상을 상상해 보십시오. 이것이 바로 "시각-언어-행동(Vision-Language-Action, VLA)" 모델의 꿈입니다. 이 모델들을 로봇의 뇌라고 생각하십시오. 카메라의 눈, 언어 모델의 귀, 그리고 기계 팔의 손을 결합한 형태입니다. 만약 당신이 로봇에게 "빨간 공을 집어 들어"라고 말한다면, VLA 모델은 주변을 둘러보고, "빨간색"이 특정 색상임을 이해하며, 그 공을 찾아내어 잡아야 합니다. 이 기술은 인간이 모든 움직임을 일일이 프로그래밍할 필요 없이 가사 노동을 하거나, 자동차를 운전하거나, 공장에서 일할 수 있는 로봇을 만드는 핵심입니다. 하지만 이 새로운 기술처럼, 이 스마트한 로봇들에게도 성장통이 있습니다. 이들은 완벽하게 통제된 실험실 안에서는 매우 뛰어나지만, 실제 세상은 무질서합니다. 햇빛은 변하고, 그림자는 움직이며, 조명은 깜빡입니다. 과학자들이 던지는 큰 질문은 이것입니다. 만약 조명이 아주 미세하게 변한다면, 우리의 초스마트 로봇이 갑자기 보는 법을 잊어버리거나, 더 나아가 무언가에 충돌하게 될 것인가?

"Lights, Camera, Malfunction(조명, 카메라, 오작동)"이라는 제목의 이 논문은 바로 이 무질서한 현실을 깊이 파고듭니다. 게이오 대학교의 와타나베 마리노, 사토 타카미, 요시오카 켄타로 연구진은 이러한 첨단 로봇의 뇌가 놀라울 정도로 취약하다는 사실을 발견했습니다. 그들은 특정 종류의 스포트라이트를 로봇의 작업 공간에 비추는 것만으로도 로봇이 업무 수행에 완전히 실패하여 성공률을 0으로 떨어뜨릴 수 있다는 것을 발견했습니다. 이는 마치 이상한 색깔의 손전등을 교통 신호등에 비추어 로봇이 빨간불을 초록불로 착각하게 만드는 것과 같습니다.

하지만 이야기를 훨씬 더 흥ively하게 만드는 반전이 있습니다. 보통 과학자들이 빛에 민감한 로봇을 고치려 할 때, "데이터 증강(data augmentation)"이라는 기술을 사용합니다. 아이에게 밝은 햇빛 아래, 희미한 램프 아래, 심지어 흑백 사진으로 된 공의 사진을 보여주며 빨간 공을 인식하도록 가르치는 것을 상상해 보십시오. 그 목적은 아이가 단순히 색상이 아닌 공의 '모양'을 학습하여 어디에서든 공을 찾을 수 있게 하는 것입니다. 연구진은 이 표준적인 해결책을 시도했지만, 위험한 함정을 발견했습니다. 로봇에게 색상 변화를 무시하도록 가르치자, 의도치 않게 색상 자체를 무시하도록 가르치게 된 것입니다. 로봇은 색상이 중요하지 않은 작업에서는 공을 찾을 수 있었지만, 만약 "빨간 공을 집으라"고 했을 때 옆에 파란 공이 함께 있다면, 빨간색과 파м색이 다르다는 사실을 잊어버렸기 때문에 잘못된 것을 집게 되었습니다. 즉, 로봇이 "색맹"이 된 것입니다.

이 문제를 해결하기 위해 연구팀은 ChromaGuard라는 새로운 방법을 개발했습니다. ChromaGuard는 로봇에게 색상을 무시하도록 가르치는 대신, 까다로운 조명 조건에서도 색상을 기억하면서 대처하는 법을 가르칩니다. 연구진은 이를 실제 6-DoF 로봇 팔(인간의 팔처럼 6개의 움직이는 관절을 가진 로봇)에 테스트했습니다. 결과는 인상적이었습니다. 기존의 "색맹" 방식이 색상 특화 작업에서 실패한 반면, ChromaGuard는 스포트라이트 공격으로부터 로봇을 안전하게 지켜냈으며, 빛이 로봇을 속이려 할 때도 빨간 공을 92.5%의 확률로 정확히 집어 올렸습니다.

스포트라이트 공격: FLARE

연구진은 먼저 FLARE(Framework for Lighting Adversarial Robustness Evaluation)라고 부르는 프레임워크를 구축했습니다. FLARE를 "악당 시뮬레이터"라고 생각하십시오. 컴퓨터 시뮬레이션 내에서 블록 쌓기나 물체 집기 같은 다양한 작업을 수행하는 로봇을 설정했습니다. 그런 다음, 연구진은 물리적인 스포트라이트를 제어할 수 있는 짓궂은 해커 역할을 맡았습니다. 로봇의 코드를 해킹한 것이 아니라, 단지 조명을 바꾼 것입니다.

그들은 베이지안 최적화(Bayesian Optimization)라는 스마트한 탐색 방법을 사용하여 로봇을 고장 낼 수 있는 완벽한 조명 설정의 조합을 찾아냈습니다. 조명의 높이, 밝기, 그리고 색상(색조, 채도, 명도)을 조절했습니다. 목표는 로봇 팔이 경로에서 크게 벗어나 휘두르게 하거나 물체를 잡는 데 실패하게 만드는 것이었습니다.

결과는 충격적이었습니다. 시뮬레이션에서 보통 80%에서 90%의 성공률을 보이는 표준 로봇 모델들이, 최적화된 스포트라이트 공격을 받자 **0.0%**의 성공률로 떨어졌습니다. 로봇은 단순히 실패한 것이 아니라 통제 불능 상태가 되었습니다. 연구진은 로봇 팔이 의도한 경로에서 얼마나 멀리 벗어났는지 측정했습니다. 어떤 경우에는 팔이 원래 경로에서 무려 115.5cm나 벗어났습니다. 이는 컵을 집으려던 로봇 팔이 갑자기 주방 식탁 전체를 가로질러 휘두르는 것과 같습니다. 심지어 최적화되지 않은 무작위 조명조차 성공률을 절반으로 떨어뜨릴 수 있었습니다. 이는 로봇이 단순히 "조금 혼란스러워하는" 수준이 아니라, 단순한 조명 변화에 근본적으로 망가진다는 것을 입증했습니다.

함정: Naive Augmentation (단순 증강)

다음으로, 연구진은 표준적인 방법인 Naive Augmentation을 사용하여 문제를 해결하려 했습니다. 이는 앞서 언급한 "사진을 흑백으로 만드는" 기법과 같습니다. 그들은 이미지의 색상, 밝기, 선명도를 무작위로 뒤섞은 상태로 로봇을 훈련시켰습니다. 이를 통해 로봇이 어떤 조명 변화에도 강해지기를 기대했습니다.

시뮬레이션에서 이는 완벽해 보였습니다. "Naive-Aug" 모델은 스포트라이트 공격이 켜져 있을 때도 높은 성공률(약 78%~93%)을 유지했습니다. 승리처럼 보였습니다. 하지만 연구진은 무언가 잘못되었다고 의심했습니다. 훈련 중에 색상을 너무 많이 뒤섞음으로써, 로봇이 하나의 지름길을 배웠을지도 모른다고 깨달았습니다. 즉, "색상은 혼란스럽고 계속 변하니까, 그냥 색상은 무시하고 모양만 보자"라고 학습한 것입니다.

이를 테스트하기 위해 연구진은 "진단 시험"을 실시했습니다. 훈련된 로봇들에게 그레이스케일(흑백)로 작업을 보여주었습니다.

• 원래의 로봇들(Baseline)은 색상에 의존했기 때문에 흑백 환경에서 처참하게 실패했습니다.
• 그러나 "Naive-Aug" 로봇들은 흑백에서도 컬러 환경에서와 거의 동일하게 잘 작동했습니다. 예를 들어, 한 작업에서 흑백 성공률은 **90.5%**였는데, 이는 컬러 성공률인 **89.8%**와 거의 차이가 없었습니다.

이것이 결정적인 증거였습니다. 로봇은 강인함을 배운 것이 아니라, 색맹이 된 것이었습니다. 로봇은 색상을 "노이즈"로 간주하여 버려버린 것입니다. 이는 많은 실제 작업이 색상에 의존하기 때문에 매우 큰 문제입니다. 만약 로봇이 초록색 사과 더미 속에서 빨간 사과를 골라야 한다면, 색맹이 되는 것은 재앙입니다.

실제 세계 테스트: 색상 의존적 작업

이것이 단순한 컴퓨터 시뮬레이션의 오류가 아님을 증명하기 위해, 팀은 실제 세계로 이동했습니다. 그들은 두 개의 카메라(손목에 하나, 측면에 하나)와 프로그래밍 가능한 스포트라이트가 장착된 실제 로봇 팔을 설치했습니다. 그리고 로봇에게 두 가지 유형의 업무를 주었습니다.

1. 색상 불변 작업(Color-Invariant Tasks): "공을 집어서 상자에 넣어라." (공이 빨간색이든 파란색이든 상관없음)
2. 색상 의존적 작업(Color-Dependent Tasks): "옆에 파란 공이 있을 때, 빨간 공을 집어라."

결과는 우려를 확인시켜 주었습니다. 스포트라이트가 "Naive-Aug" 로봇을 공격할 때, 로봇은 색상 의존적 작업에서 어려움을 겪었습니다. 심지어 일반적이고 안전한 조명 아래에서도, Naive-Aug 로봇은 "빨간 공 집기" 작업에서 **47.5%**의 성공률만을 보였습니다. 로봇은 빨간색과 파란색이 다르다는 것을 잊어버렸기 때문에 잘못된 공을 잡고 있었습니다. 연구진은 이러한 실패 상황에서 로봇이 잘못된 색상의 물체를 잡는 경우가 **85.7%**에 달했다고 기록했습니다.

솔루션: ChromaGuard

마지막으로, 연구진은 주인공인 ChromaGuard를 선보였습니다. 이것은 로봇을 훈련시키는 더 스마트한 방법입니다. 색상을 무작위로 뒤섞는 대신, ChromaGuard는 밝기, 대비, 선명도는 변경하되 색조(Hue, 실제 색상)는 정확히 유지합니다. 이는 로봇에게 "빛은 더 밝아지거나 어두워질 수 있고 그림자가 움직일 수도 있지만, 빨간 공은 언제나 빨간색이다"라고 가르치는 것입니다.

실제 로봇에 ChromaGuard를 테스트했을 때:

• 공격에 대하여: 견고함을 유지했습니다. 색상 불변 작업에서 Naive-Aug 모델과 마찬가지로 **70.0%**의 성공률을 유지했습니다.
• 진정한 승리: 색상 의존적 작업에서 ChromaGuard는 빛을 발했습니다. 일반적인(Benign) 조명 아래에서 **97.5%**의 성공률을 보였습니다. 심지어 스포트라이트 공격이 켜졌을 때도 **92.5%**의 성공률을 유지했습니다.

결정적으로, 발생한 실패들은 로봇이 잘못된 색상을 선택해서 생긴 것이 아니었습니다. 논문은 SmolVLA 모델이 ChromaGuard를 사용할 때, **0%**의 실패가 잘못된 색상의 물체를 선택해서 발생했다고 명시했습니다. 즉, 이 모델은 중요한 색상을 잊지 않으면서도 까다로운 조명을 무시하는 법을 배운 것입니다.

이것이 왜 중요한가

이 논문은 로봇 공학의 미래에 대한 진지한 경고로 끝을 맺습니다. 연구진은 단순히 "무작위 데이터 증강"을 던져주고 운 좋게 해결되기를 바랄 수는 없다고 주장합니다. 만약 우리가 조명 변화로부터 로봇을 더 안전하게 만들기 위해 색상을 무시하도록 가르친다면, 우리는 의도치 않게 색상이 필요한 작업을 수행하는 로봇의 능력을 망가뜨릴 수 있습니다.

이 연구는 현재의 최첨단 로봇들이 놀라울 정도로 취약하다는 것을 보여줍니다. 단순한 스포트라이트 하나가 로봇을 충돌하게 하거나 완전히 실패하게 만들 수 있습니다. 또한 일반적인 해결책은 로봇을 세상의 가장 기본적인 신호에 대해 "눈먼" 상태로 만들 수 있습니다. 저자들은 우리가 로봇에게 안전이 중요한 직업을 맡기기 전에, 세상이 보이는 그대로를 보는 능력을 희생하지 않으면서도 일반화 능력을 확보해야 한다고 제언합니다. ChromaGuard는 로봇을서도 색상을 잊지 않으면서 나쁜 조명에 강하게 만들 수 있음을 입증하며, 올바른 방향으로 나아가는 한 걸음을 보여주었습니다.