TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

특정 질문에 답하기 위해 긴 영상을 시청하는 것은 인간에게는 단순하게 느껴지는 작업이지만, 인공지능에게는 놀라울 정도로 어려운 과제로 남아 있습니다. 사람이 영화를 볼 때, 단순히 이미지의 흐름을 보는 것이 아니라 사건의 정신적 지도를 구축합니다. 예를 들어, 1막에서 등장인물이 열쇠를 집어 들었고, 그 열쇠가 마지막 장면에서 문을 여는 데 사용되었다는 사실을 기억하는 식입니다. 그러나 현재의 컴퓨터 시스템은 이러한 종류의 장기적 맥량 이해(long-horizon understanding)에 어려움을 겪는 경우가 많습니다. 시스템은 영상의 몇 개 스냅샷만을 보고 답을 추측하거나, 줄거리에 대한 텍스트 요약을 읽으려다 시각적 세부 사항을 완전히 놓치기도 합니다. 핵심적인 문제는 긴 영상에 관한 많은 질문이 서로 다른 시간대에 흩어져 있는 증거들에 의존한다는 점입니다. 만약 시스템이 흩어진 순간 중 단 하나라도 놓친다면 진실을 알 수 없게 되지만, 그럼에도 불구하고 단순히 추측을 통해 확신에 찬 것처럼 보이는 정답을 내놓을 수도 있습니다. 시스템이 알고 있다고 주장하는 것과 실제로 본 것 사이의 이 간극이 연구자들이 해결하려고 노력 중인 핵심 과제입니다.

한 연구팀은 인공지능이 질문에 답하기 전에 영상의 올바른 부분을 살펴보도록 강제하도록 설계된 TRACE라는 새로운 접근 방식을 도입했습니다. 텍스트 요약에 의존하거나 몇 개의 무작위 프레임을 바탕으로 추측하는 대신, TRACE는 답변을 조각조각 쌓아 올리는 신중한 관찰자처럼 행동합니다. 먼저 영상을 스캔하여 질문과 관련이 있어 보이는 작고 구체적인 클립, 즉 '앵커(anchors)'를 찾습니다. 그런 다음 이 클립들을 그룹화하고, 지금까지 본 것만을 바탕으로 질문에 답하도록 시스템에 요청합니다. 시스템은 여기서 멈추지 않습니다. 계속해서 새로운 클립을 수집 목록에 추가하며 질문을 다시 던집니다. 이 과정은 답변이 더 이상 변하지 않을 때까지 계속되는데, 이는 시스템이 확신을 가질 만큼 충분한 시각적 증거를 수집했음을 나타냅니다. 결정적으로, 시스템은 최종 클립 세트를 마지막으로 한 번 더 재생하여 답변이 유효한지 확인합니다. 이 방법은 최종 답변이 부분적인 시야에 기반한 추측이 아니라, 완전한 시각적 사실 세트에 근거한 결론임을 보장합니다.

이 방법이 실제로 작동하는지 테스트하기 위해, 연구진은 VES-Bench라는 새로운 테스트 환경을 만들었습니다. 이는 사건의 순서를 파악하거나 특정 행동이 몇 번 발생했는지 세는 것과 같은 과업을 다루는 348개의 공개 영상에서 추출한 600개의 질문 모음입니다. 기존의 테스트들이 단순히 최종 답변이 맞았는지 틀렸는지만 확인했던 것과 달리, VES-Bench는 과정 자체를 감사(audit)합니다. 이 테스트는 시스템이 결정을 내리기 전 정확히 영상의 어떤 프레임들을 살펴보았는지 추적합니다. 테스트는 시스템이 질문에 올바르게 답하기 위해 필요한 모든 순간을 실제로 보았는지 검증합니다. 만약 시스템이 정답을 맞혔더라도 결정적인 장면을 놓쳤다면, 그 답변은 증거에 의해 뒷받침되지 않은 것이므로 실패로 처리됩니다. 이러한 엄격한 평가는 기존의 많은 방식이 실제로는 필요한 부분들을 다 보지 못한 채 운 좋게 정답을 맞히는 경우가 많다는 것을 드러냅니다.

연구진이 TRACE를 이 엄격한 테스트에 적용했을 때, 결과는 명확한 우위를 보여주었습니다. 다른 첨단 시스템들과 동일한 기반 기술을 사용하면서도, TRACE는 모든 필수 장면에서 최소 두 개의 서로 다른 프레임을 보았음을 보장하면서 질문의 50.7%를 정확히 맞혔습니다. 이에 비해 유사한 수의 프레임을 살펴본 다른 방법들은 필요한 장면을 모두 커버하지 못하거나, 동일한 수준의 확신을 얻기 위해 두 배 이상의 프레임을 더 많이 살펴봐야 했습니다. TRACE는 질문당 평균 100개 미만의 프레임을 사용하여 이 높은 정확도를 달ach했습니다. 이는 영상을 일정한 비율로 단순히 스캔하는 시스템들이 요구하는 비용의 아주 작은 부분입니다. 연구는 성공의 열쇠가 단순히 더 많은 데이터를 보는 것이 아니라, 언제 보는 것을 멈춰야 하는지를 아는 데 있다는 것을 발견했습니다. 증거가 안정될 때까지 기다린 후 원시 시각적 증거를 재확인함으로써, TRACE는 불완전한 정보에 기반해 추측하는 함정을 피했습니다.

연구진은 또한 시스템이 살펴보는 프레임의 수를 단순히 늘리는 것이 항상 더 나은 답변으로 이어지지는 않는다는 사실도 발견했습니다. 점점 더 많은 프레임을 살펴보는 표준 시스템들을 테스트했을 때, 정확도는 특정 지점까지만 향상되었으며 그 이후에는 프레임을 더 추가해도 도움이 되지 않았습니다. 이는 문제가 데이터의 부족이 아니라, 어떤 데이터가 중요한지 아는 전략의 부재임을 시사합니다. TRACE는 '증거의 궤적(trajectory of evidence)'을 사용하여 이를 해결했는데, 여기서 시스템은 자신이 충분한 정보를 수집했음을 인식하는 법을 배웁니다. 이 연구는 긴 영상의 경우, 방대한 양의 영상을 한꺼번에 처리하는 것보다 특정 시각적 순간을 찾아내고 통합하는 능력이 더 중요하다는 것을 확인시켜 줍니다. 답변을 원시 영상 클립에 근거하게 하고 증거가 완결될 때까지 기다림으로써 멈추는 TRACE는, 시간이 흐름에 따라 펼쳐지는 세상을 기계가 이해하는 데 있어 더 신뢰할 수 있는 방법을 보여줍니다.