한 컴퓨터가 사람의 머리에 장착된 카메라를 통해 세상을 이해하려고 노력하는 모습을 상상해 보십시오. 이것은 극장의 고정된 좌석에서 영화를 보는 것과는 다릅니다. 이 1인칭 시점에서는 세상이 빠르게 지나가고, 물체들은 눈 깜짝할 사이에 나타났다 사라지며, 가장 중요한 단서는 렌즈 구석의 아주 작고 찰나적인 디테일일 수도 있습니다. 인공지능에게 이것은 어려운 퍼즐입니다. 대규모 시각-언어 모델로 알려진 현대의 컴퓨터 시스템은 텍스트를 읽고 사진을 보는 데는 매우 똑똑하지만, 시야가 혼란스럽고 개인적인 경우에는 종종 어려움을 겪습니다. 그들은 실제로 그곳에 있는 것을 자세히 관찰하기보다 이전에 읽었던 내용을 바탕으로 무엇이 일어나고 있는지 추측하는 경향이 있습니다. 예를 들어, 그들은 주방을 보고 누군가 요리를 하고 있다고 가정할 수 있는데, 설령 영상에서 그 사람이 단순히 컵을 씻고 있는 모습이 보이더라도, 그들의 내부 데이터베이스가 주방은 요리를 위한 곳이라고 말해주기 때문입니다. 관찰 대신 기억에 의존하는 이러한 방식은 로봇이 인간을 도와야 하거나 웨어러블 기기가 장애가 있는 사람을 보조해야 하는 것과 같은 중요한 상황에서 실수를 초래합니다.

중국의 한 연구팀은 이러한 컴퓨터 시스템이 추측을 멈추고 관찰을 시작하도록 가르치는 새로운 방법을 개발했습니다. 그들은 이 방법을 '시각적 증거 가이드 학습(Visual Evidence-Guided Learning)'이라고 부릅니다. 핵심 아이디어는 단순하지만 강력합니다. 컴퓨터에게 자신의 답이 옳다는 것을 증명하는 비디오의 특정 부분을 가리키도록 강제하는 것입니다. 실험에서 그들은 컴퓨터가 작고 결정적인 시각적 단서들을 찾아내고 이에 의존하도록 훈련했을 때, 컴퓨터가 비디오에서 일어나고 있는 일을 훨씬 더 잘 이해하게 된다는 것을 발견했습니다. 컴퓨터는 일반적인 지식을 바탕으로 이야기를 지어내는 것을 멈추고, 실제로 보이는 것을 정확하게 묘사하기 시작했습니다. 이러한 '추측에서 관찰로'의 전환은 인간의 움직임이라는 복잡하고 무질서한 현실 세계에서 인공지능을 신뢰할 수 있게 만드는 중요한 진전입니다.

연구진은 이 똑똑한 시스템들이 왜 1인칭 비디오에서 그렇게 자주 실패하는지를 먼저 살펴보았습니다. 그들은 두 가지 주요 문제를 발견했습니다. 첫째, 시각적 단서가 약하거나 포착하기 어려울 때, 컴퓨터는 언어 학습에 의존하여 상식으로 빈틈을 메우려 한다는 점입니다. 예를 들어, 어떤 사람이 작은 컵에 브러시를 담갔을 때, 컴퓨터는 컵을 무시하고 그 사람이 그림을 그리고 있다고 말할 수 있는데, 이는 브러시가 보통 하는 일이기 때문입니다. 둘째, 컴퓨터는 종종 전체적인 큰 그림에 의해 주의가 분산됩니다. 만약 영상이 전체 예술 스튜디오를 보여준다면, 시스템은 도구를 잡고 있는 손이라는 구체적인 동작보다는 방의 분위기에 집중할 수 있습니다. 연구진은 현재의 훈련 방식이 컴퓨터가 작은 세부 사항을 무시하거나 자신의 내부 지식에 너무 많이 의존하는 것에 대해 벌을 주지 않는다는 것을 깨달았습니다. 컴퓨터는 자신이 보고 있는 시각적 증거를 가치 있게 여기도록 배우지 못했던 것입니다.

이를 해결하기 위해 연구팀은 엄격한 코치 역할을 하는 훈련 파이프라인을 구축했습니다. 그들은 모든 비디오에 수동으로 라벨을 붙이는 데 드는 시간과 비용을 줄이기 위해 인간에게 직접 라벨링을 요청하지 않았습니다. 대신, 비디오를 스캔하여 가장 가능성 높은 시각적 단서를 찾아내는 자동화된 시스템을 만들었습니다. 이 시스템은 비디오 프레임과 질문을 살펴본 뒤, 가장 관련성이 높아 보이는 이미지의 특정 패치(patch)를 식별합니다. 또한, 테스트를 위해 비슷하지만 덜 명확한 두 번째 패치를 선택합니다. 이를 통해 '진실'을 나타내는 신호와 '혼란스러운 방해 요소'를 나타내는 신호라는 한 쌍의 신호를 생성합니다. 그러면 컴퓨터는 명확한 신호에 자신의 추론을 맞추고, 혼란스러운 신호는 무시하도록 훈련받습니다.

이 과정에는 컴퓨터가 최종 훈련을 시작하기 전에 수행되는 중요한 필터링 단계가 포함되어 있습니다. 연구진은 모든 비디오가 학습에 좋은 것은 아니라는 점을 깨달았습니다. 어떤 영상은 너무 흐릿하거나, 중요한 동작이 자동 시스템이 명확히 볼 수 없을 정도로 너무 작을 수 있습니다. 만약 컴퓨터가 이런 나쁜 예시들로부터 배우려고 한다면, 결국 혼란만을 배우게 될 것입니다. 따라서 팀은 시각적 단서의 품질을 점검하는 메커니즘을 구축했습니다. 만약 컴퓨터가 비디오에서 명확하고 결정적인 물체를 찾을 수 없다면, 그 예시는 제외됩니다. 또한, 그 예시가 실제로 학습에 유용한지도 확인합니다. 만약 컴퓨터가 질문에 너무 쉽게 답할 수 있거나, 영상이 명확한 교훈을 제공하기에 너무 복잡하다면 그 예시 역시 버려집니다. 이를 통해 날카로운 시각적 단서와 명확한 교훈을 가진 더 작고 고품질의 비디오 세트가 남게 됩니다.

컴퓨터가 이 필터링된 고품질 데이터로 훈련을 마치면, 강화 학습의 최종 단계에 들어갑니다. 여기서 컴퓨터는 올바른 행동에 대한 보상을 받으며 더 나은 선택을 하는 법을 배웁니다. 이 새로운 시스템에서 보상은 단순히 정답을 맞히는 것이 아니라, '올바른 것을 보고' 정답을 맞혔는지에 달려 있습니다. 만약 컴퓨터가 답을 증명하는 특정 물체나 동작을 정확히 식별하면 보상을 받습니다. 반대로, 일반적인 장면을 바탕으로 추측하거나, 만약을 대비해 너무 많은 관련 없는 물체들을 나열하면 벌점을 받습니다. 또한 시스템은 앞서 만든 '혼란스러운' 패치에 집중하는 것을 적극적으로 막습니다. 이는 컴퓨터가 전체 장면 전체로 주의를 분산시키는 대신, 진정으로 중요한 단 하나에 주의를 좁히도록 강제합니다.

이 접근 방식의 결과는 놀라웠습니다. 연구진은 컴퓨터가 1인칭 비디오를 얼마나 잘 이해하는지 측정하기 위해 설계된 여러 벤치마크에서 이 방법을 테스트했습니다. 그들은 자신들의 새로운 시스템을 최근 개발된 다른 고급 방법들과 비교했습니다. 모든 테스트에서 그들의 시스템은 더 우수한 성능을 보였습니다. 물체를 식별하거나, 동작의 순서를 계획하거나, 복잡한 장면을 이해하는 작업 등 비디오에서 일어나는 일에 대한 질문에 더 정확하게 답했습니다. 이러한 향상은 다양한 유형의 컴퓨터 모델 전반에서 일관되게 나타났으며, 이는 이 방법이 특정 뇌 구조(architecture)와 상관없이 잘 작동함을 시사합니다. 연구진은 특히 중요한 디테일이 작거나 빠르게 움직이는 상황에서 시스템이 탁월한 성능을 보였는데, 이는 기존 시스템들이 보통 실패하는 지점이기도 합니다.

연구팀은 또한 자동화된 시스템이 실제로 올прав은 단서를 선택하고 있는지 검증하는 시간도 가졌습니다. 그들은 비디오 샘ian을 수동으로 확인하여 컴퓨터가 선택한 시각적 패치가 인간이 중요하다고 생각하는 부분과 일치하는지 확인했습니다. 그 결과, 대다수의 경우에서 컴퓨터의 선택이 정확하다는 것을 발견했습니다. 이는 자동화된 프로세스가 교사로서 사용되기에 충분히 신뢰할 수 있다는 확신을 주었습니다. 또한 그들은 필터링을 얼마나 엄격하게 할 것인지와 같은 서로 다른 설정에 따라 시스템이 얼마나 민감하게 반응하는지도 테스트했습니다. 그들은 최적의 지점이 있다는 것을 발견했습니다. 필터링이 너무 느슨하면 나쁜 예시로부터 배우게 되고, 너무 엄격하면 학습할 데이터가 부족해집니다. 적절한 균형을 찾음으로써, 그들은 시스템이 효율적이면서도 효과적이도록 보장했습니다.

가장 흥istic한 발견 중 하나는 이 시스템이 컴퓨터의 '사고' 방식을 어떻게 변화시켰는가 하는 점이었습니다. 연구진이 기존 모델의 추론 과정을 살펴보았을 때, 컴퓨터는 종종 일반적인 배경을 바탕으로 결론을 성급히 내리는 것을 보았습니다. 반면, 새로운 시스템은 결정을 내리기 전에 구체적인 증거를 찾는 명확한 패턴을 보여주었습니다. 예를 들어, 어떤 사람이 도구를 잡고 있는 상황에 대해 질문했을 때, 기존 모델은 배경을 근거로 "사람이 작업장에서 일하고 있다"라고 말할 수 있습니다. 하지만 새 모델은 손과 도구에 집중하도록 훈련되었기 때문에 "사람이 드라이버를 잡고 있다"라고 말할 것입니다. 이러한 '전역적 맥락(global context)'에서 '지역적 증거(local evidence)'로의 전환이 시스템을 더욱 신뢰할 수 있게 만듭니다. 이제 시스템은 단순히 일어날 법한 일을 추측하는 것이 아니라, 실제로 일어나고 있는 일을 보고합니다.

연구진은 자신들의 방법이 완벽하지는 않다고 인정합니다. 이 방식은 중요한 단서가 비디오의 작은 부분에서 명확하게 보이는 단일하고 국소적인 물체나 동작일 때 가장 잘 작동합니다. 만약 답이 시간에 따라 펼쳐지는 긴 사건의 연속에 달려 있거나, 중요한 물체가 다른 것 뒤에 숨겨져 있다면 시스템은 여전히 어려움을 겪을 수 있습니다. 또한 질문이 너무 추상적이라면 자동 시스템이 그에 맞는 시각적 단서를 찾는 데 어려움을 겪을 수도 있습니다. 그러나 구체적인 시각적 디테일이 정답의 핵심이 되는 대다수의 작업에서, 그들의 접근 방식은 강력한 해결책을 제공합니다.

이 연구는 인공지능을 현실에 더 밀착시키기 위한 중요한 진전입니다. 컴퓨터에게 자신이 알고 있는 지식보다 눈에 보이는 것을 가치 있게 여기도록 가르침으로써, 연구진은 더 위험하거나 어리석은 실수를 저지를 가능성이 낮은 시스템을 만들어냈습니다. 로봇과 스마트 기기가 점점 더 흔해지는 세상에서, 1인칭 시야를 통해 정확히 무슨 일이 일어나고 있는지 신뢰할 수 있게 이해하는 시스템을 갖추는 것은 필수적입니다. 이 방법은 값비싼 인간 교사나 방대한 양의 새로운 데이터를 요구하지 않습니다. 대신, 영리한 필터링 과정과 새로운 보상 체계를 사용하여 컴퓨터를 진실로 인도합니다. 기술이 계속 발전함에 따라, 시각적 증거에 대한 이러한 집중은 기계가 세상을 보는 방식을 가르치는 표준이 되어, 그들이 정말 중요한 것을 볼 수 있도록 보장할 것입니다.