Reproducible Multimodal Affordance Prediction

로봇이 어지러운 주방 조리대 위에 있는 커피 머그잔을 향해 손을 뻗는 장면을 상상해 보십시오. 성공하기 위해서, 기계는 단순히 물체를 보는 것 이상의 것을 해야 합니다. 로봇은 손잡이는 잡기 위한 것이고, 테두리는 만져도 안전하며, 바닥은 들어 올리기에 안정적이라는 것을 이해해야 합니다. 로봇 공학과 인공지능의 세계에서, 이러한 잠재적 행동에 대한 이해를 '어포던스(affordance, 행동 유도성)'라고 부릅니다. 이것은 물체를 보는 것과 그것에 어떻게 상호작용할지 아는 것 사이의 가교 역할을 합니다. 로봇이 가정이나 병원과 같이 구조화되지 않은 환경에서 인간과 함께 안전하게 작업하려면, 물체가 부분적으로 가려져 있거나, 조명이 변하거나, 로봇이 무언가를 들고 있는 상황에서도 이러한 행동을 신뢰성 있게 예측할 수 있어야 합니다. 그럼에도 불구하고, 이 기술의 중요성에도 불구하고, 연구자들이 서로 다른 언어를 사용하고, 서로 다른 도구를 사용하며, 자신들의 작업 설계도를 공유하는 데 실패했기 때문에 이 분야는 앞으로 나아가는 데 어려움을 겪어 왔습니다.

이탈리아와 스위스의 연구팀은 현재의 어포던스 예측 상태가 파편화되어 있고 검증하기 어렵다는 점을 확인했습니다. 그들은 많은 과학자가 기계가 물체와 상호작용하는 법을 가르치기 위해 모델을 구축하고 있지만, 이러한 모델들을 공정하게 비교하는 것이 종종 불가능하다는 것을 발견했습니다. 어떤 연구자는 문제를 물체를 잡을 정확한 지점을 찾는 것으로 정의하는 반면, 다른 연구자는 그것을 잡는 인간의 손 모양을 예측하는 것으로 정의합니다. 그들은 합성 데이터와 실제 데이터를 혼합하여 사용하는 등 서로 다른 데이터셋을 사용하며, 시스템을 훈련시키는 데 사용된 특정 설정이나 코드를 공유하지 않는 경우가 많습니다. 이러한 투명성의 결여는 모델이 실험실 보고서에서는 잘 작동하는 것처럼 보일지라도 실제 환경에 놓였을 때는 완전히 실패하거나, 더 심하게는 다른 과학자들이 결과가 제대로 달성되었는지조차 알 수 없게 만듭니다. 저자들은 시스템이 어떻게 구축되고 테스트되는지에 대한 표준화된 방법 없이는 발전이 정체될 것이며, 인간-로봇 협업의 안전성 또한 불확실한 상태로 남을 것이라고 주장합니다.

이를 해결하기 위해 연구진은 '어포던스 시트(Affordance Sheet)'라는 새로운 문서화 도구를 도입했습니다. 이것을 인공지능 모델을 위한 상세한 여권이라고 생각하십시오. 여권이 사람의 이름, 국적, 여행 기록을 나열하는 것처럼, 어포던스 시트는 모델이 무엇을 하도록 설계되었는지, 어떤 데이터로부터 학습했는지, 어떻게 훈련되었는지, 그리고 어떻게 테스트되었는지를 정확히 나열합니다. 저자들은 이 템플릿을 통해 투명성을 강제하고자 했습니다. 이는 모델이 사용하는 입력 유형(이미지, 언어 또는 3D 포인트 클라우드 등)을 명시하고, 시나리오에 인간이 존재하는지 여부를 밝힐 것을 요구합니다. 결정적으로, 제작자가 코드 링크, 사용된 데이터셋, 그리고 이미지를 크기 조정하거나 학습 속도를 조절하는 방식과 같은 훈련 과정 중 준수했던 구체적인 규칙을 제공하도록 요구합니다. 이 시트를 작성함으로써 연구자는 자신의 작업을 검토 가능한 상태로 만들며, 다른 이들이 누락된 세부 사항을 추측할 필요 없이 결과를 검증하거나 이를 바탕으로 새로운 연구를 진행할 수 있게 합니다.

연구팀은 이 새로운 표준의 효과를 검증하기 위해 해당 분야의 기존 고위급 모델 4개에 적용해 보았습니다. 이 모델들에 대해 시트를 작성하려고 시도했을 때, 원래 연구의 결함이 극명하게 드러났습니다. 어떤 모델은 사용 가능한 코드가 없었고, 어떤 모델은 코드는 있지만 훈련된 가중치(weights)가 없어 다시 실행하는 것이 불가능했습니다. 여러 연구는 테스트를 위한 데이터 분할 방식을 보고하지 않아, 결과가 진정한 것인지 아니면 모델이 단순히 정답을 암기한 것인지 불분명했습니다. 한 사례에서는 모델이 실제 사물에 대해 작동한다고 주장했지만, 시트를 통해 확인한 결과 컴퓨터로 생성된 합성 이미지로만 테스트되었음이 드러났습니다. 또 다른 경우, 원래 논문에서 훈련 설정을 생략했기 때문에 연구자들이 훈련 설정을 추측해야 했습니다. 이러한 불일치는 모델들을 공정하게 비교할 수 없게 만들었습니다. 즉, 어떤 모델이 더 똑똑해서가 아니라 단지 더 쉬운 조건에서 테스트되었거나 더 좋은 데이터 준비 과정을 거쳤기 때문에 우월해 보일 수 있다는 것입니다.

또한 이번 조사는 이러한 시스템의 검증 방식에 있어 중요한 격차를 강조했습니다. 대부분의 모델은 밝은 조명 아래 테이블 위에 물체가 완벽하게 고정되어 있는 통제된 실험실 환경에서 테스트됩니다. 그러나 어포던스 시트는 이러한 모델 중 실제 로봇이 무질서하고 예측 불가능한 환경에서 실제 사람과 상호작용하며 테스트된 경우가 거의 없음을 보여주었습니다. 연구진은 로봇이 안전하기 위해서는 가려짐(occlusion, 손이나 다른 물체가 시야를 가리는 현상)을 처리할 수 있는지, 그리고 본 적 없는 물체에 대해서도 일반화할 수 있는지가 입증되어야 한다고 강조했습니다. 현재 이러한 테스트의 부족은 많은 유망한 시스템이 여전히 이론적인 수준에 머물러 있음을 의미합니다. 저자들은 검토된 모델 중 아주 적은 수만이 안전성에 관한 섹션을 포함하거나 인간이 근처에 있을 때 어떻게 행동할지를 설명하고 있다는 것을 발견했는데, 이는 향후 배치를 위한 주요 우려 사항입니다.

어포던스 시트를 제안함으로써, 연구진은 단순히 더 나은 서류 작업을 요구하는 것이 아니라, 인공지능 연구가 수행되는 방식에 대한 문화적 변화를 촉구하고 있습니다. 그들은 이 분야가 고립된 실험에서 벗어나 방법론이 재현 가능하고 비교가 공정한 열린 과학의 문화로 나아가야 한다고 제안합니다. 이 도구는 유연하게 설계되어 어포던스 예측을 넘어 새로운 유형의 모델과 작업에도 적응할 수 있습니다. 궁극적인 목표는 로봇이 인간을 돕기 위해 배치될 때, 그 모델이 세상과 상호작용하는 능력이 미스터리가 아니라 검증되고 신뢰할 수 있으며 안전한 역량이 되도록 하는 것입니다. 논문은 이러한 수준의 투명성이 없다면, 이 분야가 서류상으로는 훌륭해 보이지만 실제 세상에서는 신뢰할 수 없는 시스템을 구축하게 될 위험이 있다고 결론짓습니다.