인간은 아주 작고 거의 보이지 않는 움직임을 통해 끊임없이 자신의 내면을 방송한다. 손을 꼼지락거리거나, 머리를 아주 미세하게 기울이거나, 다리를 일정한 리듬으로 떠는 것과 같은 동작들은 '마이크로 액션(micro-actions)'이다. 인사를 하기 위해 손을 흔들거나 표지판을 가리키는 것과 같은 크고 의도적인 몸짓과는 달리, 이러한 작은 움직임들은 의식적인 생각 없이 일어난다. 그럼에도 불구하고, 이들은 사람의 정서적 상태와 심리적 조건에 대한 정보를 신뢰성 있게 유출한다. 수십 년 동안 과학자들은 이러한 찰나의 신호들을 컴퓨터가 포착할 수 있도록 가르치려 노력해 왔으며, 이를 비디오 분석의 어려운 난제로 취급해 왔다. 문제는 그 미세함에 있다. 이러한 동작들은 매우 짧고, 진폭이 작으며, 서로 혼동되기 쉽다. 머리를 기울이는 것이 머리를 돌리는 것처럼 보일 수 있고, 무언가를 만지는 동작이 긁는 동작처럼 보일 수도 있다. 최근까지 이 문제를 해결하는 최선의 방법은 수천 개의 사례를 학습시킨 특화된 컴퓨터 프로그램을 구축하는 것이었으며, 이 과정에는 방대한 양의 데이터와 컴퓨计算 능력이 필요했다.

우한 대학교의 연구진은 새로운 것을 처음부터 만드는 대신, 기존의 강력한 인공지능 도구에 의존하는 다른 전략으로 이 문제에 접근했다. 최근 미세 동작 이해에 초점을 맞춘 한 대회에서, 그들은 새로운 데이터를 학습시키지 않고도 1위를 차지했다. 연구진은 컴퓨터에게 미세 동작이 무엇인지 가르치는 대신, 정교한 언어 모델에게 자신이 무엇을 보고 있는지 설명하고 왜 그렇게 보는지 설명하도록 요청했다. 그들의 성공은 이러한 모델들이 어떻게 작동하는지에 대한 놀라운 진실을 보여준다. 즉, 컴퓨터가 미세한 움직임을 이해하게 만드는 최선의 방법은 정답을 추측하라고 요구하는 것이 아니라, 먼저 세부 사항을 기술하게 한 뒤 그 세부 사항이 최종 결론을 이끌어내도록 하는 것이다.

연구진은 사람들이 이러한 미세한 움직임을 수행하는 수천 개의 짧은 비디오 클립을 분석하는 과제인 '마이크로 액션 분석 그랜드 챌린지(Micro-Action Analysis Grand Challenge)'에 참가했다. 과제는 여러 부분으로 나뉘었다. 어떤 부분은 컴퓨터가 "머리-손" 상호작용인지 아니- "다리-손" 상호작용인지와 같이 목록에서 올바른 범주를 선택해야 했다. 다른 부분은 더 개방적이었는데, 컴퓨터가 정확히 어떤 신체 부위가 어떻게 움직였는지, 그리고 왜 특정 라벨이 적절한지를 설명해야 했다. 대회의 규칙은 엄격했다. 팀들은 대회 데이터를 사용하여 모델을 학습시킬 수 없었으며, 정답을 사용하여 시스템을 가르칠 수도 없었다. 그들은 오직 서술된 지침만을 사용하여 모델을 있는 그대로 사용해야 했다.

연구진은 단일 인공지능 모델이 모든 작업에 적합한 도구가 아니라는 점을 깨달았다. 어떤 모델은 여러 선택지 중 올바른 글자를 고르는 것과 같이 빠르고 정확한 선택을 하는 데 탁격하며, 다른 모델은 장면에서 일어나는 일을 상세하고 유려하게 설명하는 데 더 뛰어나다. 연구진은 각 질문을 가장 적합한 모델로 전달하는 지휘자 역할을 하는 시스템을 구축했다. 범주를 식별하거나 단순한 예/아니오 판단을 내려야 하는 과제일 때는 결정 능력이 뛰어난 모델로 비디오를 보냈다. 반면, 설명을 쓰거나 선택의 근거를 설명해야 하는 과제일 때는 유창하고 일관된 텍스트를 생성하는 능력이 뛰어난 모델로 비디오를 보냈다.

이러한 분업은 주요한 문제를 해결했다. 흔히 장면을 설명하는 데 능숙한 모델은 세부 사항에 매몰되어 잘못된 동작을 자신 있게 설명하곤 한다. 반대로, 라벨을 선택하는 데 능숙한 모델은 매우 짧고 도움이 되지 않는 설명을 내놓을 수 있다. 작업을 분리함으로써, 연구진은 설명문을 작성하는 모델이 최종 라벨을 맞추어야 한다는 압박감에 의해 방해받지 않도록 보장했다. 그러나 연구진은 여기서 한 걸음 더 나아갔다. 최고의 설명이 있더라도, 모델이 올바른 사실에 기반하지 않는다면 최종 라벨에서 실수를 할 수 있다는 것을 발견했다. 이를 해결하기 위해 그들은 '인식 조건부 추론(recognition-conditioned reasoning)'이라는 방법을 도입했다.

이 방식에서 시스템은 먼저 결정 모델에게 올바른 범주를 예측하도록 요청한다. 그다음 그 예측값을 가져와 기술 모델을 위한 프롬프트에 직접 입력한다. 그러면 기술 모델은 예측된 범주를 염두에 둔 채 설명을 작성해야 한다. 이는 마치 시스템이 "당신이 보는 바에 근거하여, 이것이 왜 머리 기울임인지 설명하고, 당신의 설명이 그 결론을 뒷받라 하도록 하시오"라고 말하는 것과 같다. 이 간단한 단계, 즉 기술 모델에게 정답에 대한 힌트를 주는 것은 최종 결과의 정확도를 극적으로 향 향상시켰다. 기술 모델은 단순히 더 나은 이야기를 쓴 것이 아니라, 올바른 라벨과 사실적으로 일치하는 이야기를 썼다.

이 접근 방식의 결과는 놀라웠다. 최종 대회에서 연구진의 시스템은 다른 어떤 참가팀보다 높은 점수를 기록했으며, 특히 컴퓨터가 움직임을 설명하고 추론해야 하는 개방형 섹션에서 두드러졌다. 다른 팀들이 유창하면서도 정확한 설명을 쓰는 데 어려움을 겪는 동안, 이 시스템은 비디오 내용에 충실한 설명을 만들어냈다. 연구진은 오류의 주요 원인이 모델이 움직임을 보지 못하거나 글을 잘 쓰지 못해서가 아니라, 처음에 잘못된 라벨을 예측했기 때문이라는 것을 발견했다. 올바른 라벨이 시작점으로 제공되자, 모델들은 완벽한 설명을 구성할 수 있었다.

이 연구는 미세한 인간 행동이 포함된 복잡한 시각적 과제를 수행하는 데 있어 미래가 거대한 새로운 모델을 처음부터 학습시키는 데 있지 않을 수도 있음을 시사한다. 대신, 핵심은 우리가 이미 가지고 있는 강력한 도구들을 어떻게 조직하고 지시하느냐에 있을 수 있다. 적절한 유형의 인공지능을 적절한 유형의 질문에 정교하게 매칭하고, 모델들이 서로의 작업을 확인하게 함으로써, 특화된 시스템에 필적하는 수준의 이해를 달성할 수 있다. 연구진은 완전히 고정된(frozen) 기존 모델들로 구축된 시스템이 해당 과제를 위해 특별히 학습된 시스템보다 더 뛰어난 성능을 낼 수 있음을 입증하며, 스마트한 오케스트레이션(orchestration)이 방대한 학습만큼이나 강력하다는 것을 증명했다.

또한 이 연구는 자동화된 판독기의 편향을 피하는 새로운 성공 측정 방식을 도입했다. 답변을 채점하는 데 사용되는 언어 모델들은 종종 유창성에 편향되어, 문장이 아무리 아름답더라도 사실이 틀리면 제대로 된 점수를 주지 않는 경향이 있다. 연구진은 설명이 얼마나 아름답게 쓰였는지와 상관없이, 그 설명이 실제로 올-바른 범주를 언급하고 있는지를 확인하는 방법을 개발했다. 이 '판독기 없는(judge-free)' 검증은 모델을 예측된 라벨로 유도하는 방식이 성공의 진정한 동력이었음을 확인시켜 주었다. 이는 미세 동작을 이해하는 병목 현상이 보는 능력이나 말하는 능력이 아니라, 애초에 동작을 올바르게 식별하는 능력에 있음을 보여주었다.

궁극적으로, 이 연구는 비디오를 통해 인간의 행동을 이해하는 명확한 경로를 제시한다. 이는 어려운 문제를 해결하기 위해 바퀴를 다시 발명할 필요가 없다는 것을 보여준다. 우리가 이미 보유한 도구의 강점과 약점을 이해하고, 이를 논리적인 순서로 배치함으로써, 이전에는 도달할 수 없었던 능력을 끌어낼 수 있다. 미세하고 불수의적인 인체의 움직임을 정확하게 읽는 능력은 정신 건강 진단부터 인간-컴퓨터 상호작용에 이르기까지 광범위한 분야에 깊은 시사점을 준다. 연구진은 적절한 접근 방식이 있다면, 인공지능이 더 복잡해지는 것이 아니라 더 사려 깊어짐으로써 보이지 않는 것을 볼 수 있게 된다는 것을 보여주었다.