Dynamic Manipulation Hypergraphs for HAR: Beyond Pairwise Relations: Dynamic Manipulation Hypergraphs for Vision-Based Human Activity Recognition

당신이 로봇에게 요리를 하거나 가구를 조립하는 것과 같은 인간의 행동을 이해하도록 가르치려 한다고 상상해 보십시오. 오랫동안 과학자들은 비디오 전체를 보거나 단순히 누가 무엇을 만지는지를 추적함으로써 이를 수행하려고 노력해 왔습니다. 이것은 마치 사람들이 일대일로 대화하는 것만 듣고 복잡한 대화를 이해하려는 것과 같습니다. 당신은 앨리스가 밥과 대화했고, 밥이 찰리와 대화했다는 것은 알 수 있지만, 그들이 정확히 같은 시점에 모두 동일한 특정 주제에 대해 논쟁하고 있었다는 사실은 놓칠 수 있습니다. 컴퓨터 비전의 세계에서 이것은 단순한 "쌍방향(pairwise)" 연결(A가 B를 만짐)과 손, 도구, 물체, 그리고 표면이 모두 협력하여 조화로운 춤을 추는 그룹 역학을 보는 것 사이의 차이입니다. 이 논문은 우리가 손과 도구를 사용하여 물체의 상태를 변화시키는 순간인 "조작(manipulation)"이라는 까다로운 문제를 다룹니다. 저자들은 이러한 행동을 진정으로 이해하기 위해서 컴퓨터가 고립된 쌍을 보는 것을 멈추고, 전체 그룹을 하나의 살아있는 단위로 보기 시작해야 한다고 주장합니다.

연구진은 컴퓨터가 이러한 그룹 역학을 보는 법을 가르치기 위한 영리하고 새로운 방법인 "동적 조작 하이퍼그래프(dynamic manipulation hypergraph)"라고 불리는 방식을 제안합니다. 이것이 무엇을 의미하는지 이해하려면, 표준 그래프를 도시의 지도라고 상상해 보십시오. 도로가 한 번에 두 교차로만을 연결하는 지도 말입니다. 만약 다섯 대의 자동차가 연루된 교통 체증을 설명하고 싶다면, 당신은 그들을 연결하는 네 개의 별도 선을 그려야 하며, 이는 매우 지저l고 전체적인 그림을 놓치게 됩니다. 반면에 "하이퍼그래프(hypergraph)"는 한 번에 다섯 대의 자동차를 모두 태울 수 있고 그들을 하나의 그룹으로 취급할 수 있는 마법 같은 버스와 같습니다. 저자들은 토마토를 칼로 써는 것과 같은 인간의 행동이 단순히 손이 칼을 만지거나 칼이 토마토를 만지는 것이 아니라, 네 가지 요소가 동시에 참여하는 하나의 조화로운 이벤트라고 제안합니다.

이 논문은 비디오가 재생됨에 따라 이러한 "마법 버스" 그룹(하이퍼엣지)을 실시간으로 구축하는 시스템을 소개합니다. 이 시스템은 단순히 이미지를 보는 것이 아니라, 사물들이 얼마나 가까운지, 서로 접촉하고 있는지, 그리고 함께 움직이고 있는지를 확인합니다. 그런 다음 이 그룹들의 중요도를 순위 매겨 어떤 그룹이 가장 중요한지 판단합니다. 결과는 상당히 유망합니다: 주방 비디오 데이터셋에서 이 새로운 방식은 기존의 "쌍방향" 방식보다 복잡한 행동 인식 능력을 6.9 퍼센트 포인트 향상시켰습니다. 조립 작업 데이터셋에서는 그 향상 폭이 더 커서 9.5 포인트나 뛰어올랐습니다. 저자들은 이러한 다중 엔티티 상호작용을 시간에 따라 변하는 단일 단위로 취급함으로써, 컴퓨터가 마침내 우리가 도구와 물체를 사용하는 방식의 미묘함을 단순히 분리된 부품들의 집합이 아닌 방식으로 "이해"할 수 있게 된다고 제안합니다.

문제점: 왜 "둘씩 짝지어 보는 것"으로는 부족한가

수년 동안 컴퓨터는 비디오 속에서 사람들이 무엇을 하고 있는지 인식하는 능력이 향end되어 왔습니다. 컴퓨터는 누군가가 달리기, 점프, 또는 손 흔들기를 하고 있다는 것을 구별할 수 있습니다. 하지만 요리사가 채소를 썰거나 정비사가 볼트를 조이는 것과 같은 "조작"의 영역으로 들어오면 상황은 복잡해집니다. 이러한 행동들은 특정 플레이어 팀에 의존합니다: 왼손, 오른손, 도구(칼 등), 대상이 되는 물체(토마토 등), 그리고 표면(도마 등)이 그것입니다.

전통적인 방식들은 보통 이러한 상호작용을 한 번에 두 개씩 연결하는 "전화기 게임(telephone)"처럼 취급합니다. 그들은 손과 칼 사이에 선을 하나 긋고, 칼과 토마토 사이에 또 다른 선을 그을 수 있습니다. 문제는 이것이 행동을 조각낸다는 점입니다. 이것은 교향곡을 이해하기 위해 바이올린과 플루트 소리를 각각 따로 듣고, 그들이 어떻게 함께 연주하여 음악을 만들어내는지 무시하는 것과 같습니다. 만약 컴퓨터가 "손이 칼을 만진다"라는 것만 본다면, 손이 토마토 위에서 칼을 잡는 방식이 실제로 "썰기"라는 행동을 정의한다는 사실을 깨닫지 못할 수도 있습니다.

해결책: 행동의 "마법 버스"

이 논문의 저자들은 쌍을 보는 것을 멈추고 전체 그룹을 보기로 결정했습니다. 그들은 동적 조작 하이퍼그래프라는 프레임워크를 구축했습니다.

표준 그래프를 친구 관계를 두 사람 사이로만 제한하는 소셜 네트워크라고 생각해 보십시오. 만약 당신이 그룹 프로젝트를 설명하고 싶다면, 함께 일하는 모든 친구의 쌍을 일일이 나열해야 합니다. 그것은 번거로울 뿐만 아니라, 전체 그룹이 하나의 일을 하고 있다는 핵심을 놓치게 만듭니다.

하이퍼그래프는 다릅니다. 여러 명을 한꺼번에 태울 수 있는 "그룹 채팅"이나 "마법 버스"를 상상해 보십시오. 이 논문에서 단일 "하이퍼엣지(hyperedge)"(버스)는 왼손, 오른손, 도구, 그리고 표면을 모두 한데 담을 수 있습니다. 이를 통해 컴퓨터는 전체 구성을 하나의 단일 단위로 볼 수 있습니다.

하지만 여기서 "동적(dynamic)"이라는 부분이 중요합니다: 이것은 정적인 그림이 아닙니다. 버스는 비디오가 재생됨에 따라 승객과 경로를 바꿉니다.

1. 플레이어 포착: 먼저, 시스템은 비디오를 살펴보고 "배우들"인 손, 도구, 물체, 표면을 찾아냅니다. 시스템은 이들이 빠르게 움직이거나 일부가 가려져 있더라도 이들을 찾기 위해 특수한 AI 도구를 사용합니다.
2. 화학 작용 확인: 그다음 시스템은 질문합니다: 이들은 서로 가까운가? 서로 접촉하고 있는가? 움직임이 동기화되어 있는가? 만약 손이 칼을 잡고 있고 칼이 도마 위의 토마토를 썰고 있다면, 시스템은 이 그룹이 움직임과 접촉 면에서 "결합(coupled)"되어 있으므로 이 그룹에 높은 점수를 부여합니다.
3. 버스 구축: 이러한 단서들을 바탕으로 시스템은 하이퍼엣지를 구축합니다. 시스템은 "좋아, 바로 이 순간, 이 네 가지 요소가 '써는 팀'으로서 함께 작동하고 있다"라고 말할 수 있습니다.
4. 추론: 그런 다음 컴퓨터는 특별한 추론 네트워크를 사용하여 이 그룹 내에서 메시지를 전달합니다. 손은 칼에게 무엇을 하고 있는지 알려주고, 칼은 토마토에게 무슨 일이 일어나고 있는지 알려주며, 도마는 칼에게 위치를 알려줍니다. 이 과정은 프레임 단위로 일어나며, 행동이 전개됨에 따라 "버스"를 업데이트합니다.

발견한 점: 그룹 역학의 승리

연구팀은 새로운 "마법 버스" 시스템을 두 가지 주요 데이터셋인 EPIC-KITCHENS-100/VISOR(사람들이 주방에서 집안일을 하는 모습)와 Assembly101(사람들이 무언가를 조립하는 모습)에서 테스트했습니다. 그들은 자신들의 방식과 기존의 "쌍방향" 사고 방식, 그리고 시간이 지남에 따라 그룹을 업데이트하지 않는 "정적(static)" 버전을 비교했습니다.

결과는 새로운 동적 그룹 접근 방식이 복잡한 행동을 이해하는 데 훨씬 더 뛰어나다는 것을 보여주었습니다:

• 주방 데이터셋에서, 새로운 방식은 기존의 최선이었던 쌍방향 방식보다 복잡한 행동 인식을 6.9 퍼센트 포인트 향상시켰습니다.
• 조립 데이터셋에서는 개선 폭이 더욱 극적이었으며, 9.5 퍼센트 포인트나 뛰어올랐습니다.
• 또한, 주방 데이터셋에서 정적 하이퍼그래프(시간에 따라 그룹을 변경하지 않는 방식)보다 4.4 포인트, 조립 데이터셋에서 5.8 포인트 더 높은 성과를 거두었습니다.

저자들은 이러한 개선이 시스템이 마침내 "결합된 구성(joint configuration)"을 포착하기 때문에 발생한다고 제안합니다. 예를 들어, 물체를 "놓는 것"과 "써는 것"을 구별하는 것은 종종 도구가 관여하는지, 그리고 손이 어떻게 협력하는지에 달려 있습니다. 쌍방향 방식은 두 경우 모두 "손 + 물체"를 보지만, 하이퍼그래프는 "손 + 도구 + 물체 + 표면"을 하나의 독특하고 고차원적인 패턴으로 인식합니다.

한계와 미래

결과는 강력하지만, 저자들은 자신들의 시스템이 아직 완벽하지 않다는 점을 분명히 밝히고 있습니다. 이 시스템은 손, 도구, 표면을 먼저 찾아내는 컴퓨터의 능력에 크게 의존합니다. 만약 컴퓨터가 손을 놓치거나 도마를 보지 못한다면, "마법 버스"를 구축할 수 없으며 시스템은 어려움을 겪을 수 있습니다. 이는 퍼즐 조각 몇 개가 빠진 상태에서 퍼즐을 풀려고 하는 것과 같습니다.

또한 논문은 현재 시스템이 "손 + 도구 + 물체"와 같은 미리 정의된 "템플릿" 목록을 사용한다고 언급합니다. 시스템은 스스로 새로운 유형의 그룹을 즉석에서 만들어내는 것이 아니라, 목록에서 가장 적절한 것을 선택하는 방식입니다. 저자들은 향ar의 연구가 미리 작성된 목록 없이도 컴퓨터가 새로운 유형의 그룹을 자동으로 발견할 수 있도록 하는 방향으로 나아가야 한다고 제안합니다.

결국, 이 논문은 인간의 활동을 진정으로 이해하기 위해서는 사람과 물체를 고립된 개별 존재로 보는 것을 멈추고, 조화로운 팀으로 보기 시작해야 한다는 점을 시사합니다. 비디오와 함께 움직이고 변화하는 이러한 동적, 다인용 "버스"를 구축함으로써, 컴퓨터는 인간이 주변 세계와 상호작용하는 복잡하고 무질서하며 아름다운 방식을 이해하는 큰 발걸음을 내딛고 있습니다.