Child-Oriented AIGC Video Risk Reviewing: A Benchmark and Knowledge-Supported Iterative Reasoning Framework

상상해 보세요. 여러분이 꿈꾸는 거의 모든 영상을 컴퓨터가 단 몇 초 만에 만들어낼 수 있는 세상을 말이죠. 이것이 바로 인공지능 생성 콘텐츠(AIGC)의 시대입니다. 이는 마치 인간 예술가가 화면을 한 번도 만지지 않고도 움직이는 그림을 그리고, 이야기를 들려주며, 캐릭터를 만들어낼 수 있는 마법의 붓을 가진 것과 같습니다. 이것은 창작자들에게는 초능력처럼 들리겠지만, 까다로운 부작용도 따릅니다. 때때로 컴퓨터가 혼란을 겪기 때문입니다. 고양이에게 눈을 세 개 그리거나, 캐릭터가 물리적으로 불가능한 행동을 하게 하거나, 앞뒤가 맞지 않는 이야기를 들려줄 수도 있습니다. 성인들에게 이런 결함은 그저 웃기거나 이상한 일일 뿐입니다. 하지만 세상이 어떻게 돌아가는지 여전히 배우고 있는 아이들에게, 이런 혼란스러운 영상들은 왜곡된 거울과 같아서 안전, 신체, 혹은 행동 방식에 대한 잘못된 생각을 심어줄 수 있습니다.

아이들을 안전하게 지키기 위해서는 이 영상들이 어린 관객에게 도달하기 전에 검사할 방법이 필요합니다. 여기서 '대규모 시각-언어 모델(Large Vision Language Models)'이 등장합니다. 이것을 아주 똑똑한 컴퓨터라고 생각하면 되는데, 로봇이 눈과 뇌를 가진 것처럼 영상과 그 영상이 담고 있는 이야기를 모두 '보고' '읽을' 수 있습니다. 하지만 단순히 로봇에게 영상을 보여주며 "이게 안전한가요?"라고 묻는 것만으로는 충분하지 않습니다. 로봇은 전체적인 장면을 한꺼번에 보고 있기 때문에 미묘한 단서를 놓칠 수도 있고, 5살 아이에게 무엇이 안전한지에 대한 규칙 책이 없어서 잘못된 추측을 할 수도 있습니다. 이 논문은 특히 어린이들을 위한 AI 영상 속의 숨겨진, 까다로운 위험을 찾아내는 데 특화된 컴퓨터 과학의 한 분야를 깊이 파고듭니다.

---

마법의 탐정단: AI 영상의 결함을 잡아라

그렇다면 숨어 있는 컴퓨터 결함을 어떻게 잡아낼 수 있을까요? 이 연구에서 연구진은 단순한 보안 요원이 아니라, 함께 협력하는 전문가 탐정 팀처럼 작동하는 새로운 시스템을 구축했습니다. 그들은 이 새로운 프레임워크를 QVRS-E라고 부르지만, 우리는 그냥 "질문-보기-검토 팀(Question-View-Review Squad)"이라고 생각합시다.

문제점: "한 번에 끝내려는" 실수

방 안에서 숨겨진 장난감을 찾는다고 상상해 보세요. 방을 한 번 쓱 훑어보고 "안 보이네"라고 말한다면, 카펫 아래에 숨겨진 장난감을 놓칠 수도 있습니다. 현재의 AI 영상 검사 도구들이 직무를 수행할 때 발생하는 일이 바로 이것입니다. 그들은 종종 영상을 한 번 보고, 빠르게 추측한 뒤 다음으로 넘어가 버립니다. 1초 동안 발생하는 무서운 소리나, 캐릭터가 벽을 통과해 걷는 것과 같은 기괴한 논리 오류를 놓칠 수 있습니다.

연구진은 기존 도구들이 폭력이나 누드 같은 명백히 나쁜 것들을 찾아내는 데는 뛰어나지만, 아이들에게 해로운 "보이지 않는" 위험을 찾는 데는 어려움을 겪는다는 것을 발견했습니다. 여기에는 다음과 같은 것들이 포함됩니다:

• 왜곡된 신체: 손가락이 너무 많거나 얼굴이 녹아내리는 캐릭터.
• 잘못된 논리: 불이 물을 꺼버리는 이야기, 혹은 경고 없이 위험한 행동이 보여지는 경우.
• 무서운 분위기: 겉으로는 행복해 보이지만, 아이들이 이해는 못 해도 느낄 수 있는 기괴하고 불안한 느낌을 주는 영상.

해결책: 에이전트 팀

이를 해결하기 위해 연구진은 네 명의 서로 다른 "AI 에이전트"가 마치 영상과 함께하는 "스무고개" 게임처럼 루프(loop) 안에서 협력하는 시스템을 만들었습니다.

1. 질문 에이전트 (Q-Agent): 호기심 많은 아이입니다. 영상을 보고 "잠깐, 왜 저 개가 날고 있지?" 또는 "방금 저 캐릭터가 사라진 건가?"와 같은 질문을 던집니다. 단서를 찾기 위해 구체적인 질문을 생성합니다.
2. 비전 에이전트 (V-Agent): 돋보기를 든 탐정입니다. 질문에 답하기 위해 영상의 특정 프레임들을 자세히 살펴봅니다. "네, 저 개는 물리 법칙이 어긋나서 날고 있는 것입니다."
3. 검토 에이전트 (R-Agent): 판사입니다. 답변이 충분한지 확인합니다. "이것이 위험하다는 증거가 충분한가? 만약 아니라면, 더 질문하자."
4. 요약 에이전트 (S-Agent): 기자입니다. 팀의 작업이 끝나면 무엇이 잘못되었고 왜 아이들에게 해로운지를 설명하는 명확한 보고서를 작성합니다.

하지만 여기에는 비결이 있습니다. 이 팀은 그냥 추측하는 것이 아닙니다. 그들은 도움을 줄 두 가지 특별한 지식 라이브러리를 가지고 있습니다.

• 전문가 라이브러리: 아동 안전 전문가들이 작성한 규칙 책과 같습니다. 에이전트들에게 "캐릭터의 신체 부위가 잘못된 위치에 있다면 그것은 위험 요소이다"라고 알려줍니다.
• 경험 라이브러리: 과거 사례를 기록한 일기와 같습니다. "지난번에 날아다니는 고양이가 나오는 영상을 봤을 때, 날개에 대해 질문함으로써 위험을 찾아냈다. 이번에도 날개에 대해 질문해 보자"라고 말해줍니다.

질문을 하고, 영상을 확인하고, 이 라이브러리들을 사용함으로써, 시스템은 최종 결정을 내리기 전까지 증거를 차곡차곡 쌓아 올립니다. 이것은 수수께끼의 답을 그냥 찍는 것과 실제로 단계별로 문제를 해결하는 것의 차이입니다.

테스트를 위한 새로운 "놀이터"

새로운 탐정단이 얼마나 유능한지 테스트하기 위해, 연구진은 먼저 놀이터를 만들어야 했습니다. 기존의 오래된 영상들을 사용할 수는 없었습니다. 아이들이 실제로 볼 법한 진짜 AI 영상이 필요했기 때문입니다. 그들은 TikTok과 YouTube 같은 인기 플랫폼에서 605개의 실제 영상을 수집했습니다.

그들은 단순히 영상이 "나쁘다"라고 세는 것에 그치지 않았습니다. 그들은 **분류 체계(Taxonomy)**라고 불리는 매우 상세한 위험 지도를 만들었습니다. 6개의 큰 가지(예: "물리적 위험" 또는 "정서적 위험")와 26개의 작은 잎(예: "왜곡된 생물학적 외형" 또는 "위험한 행동 모방")이 있는 거대한 나무를 상상해 보세요. 이 지도는 각 영상에서 정확히 무엇이 잘못되었는지 라벨을 붙이는 데 도움을 주었고, 이를 통해 AI가 이러한 구체적인 문제들을 포착하도록 훈련할 수 있었습니다.

연구 결과

연구진이 새로운 "질문-보기-검토 팀"을 테스트했을 때, 결과는 유망했습니다.

• 솔로 플레이보다 우수함: 팀 기반 시스템을 영상을 한 번만 훑어보는 표준 AI 모델과 비교했을 때, 이들의 시스템이 훨씬 더 많은 위험을 찾아냈습니다. 예를 들어, 26가지 유형의 위험을 테스트했을 때, 표준 오픈 소스 AI 모델을 사용하는 일반적인 방식보다 훨씬 높은 점수를 기록하며, 질문을 던지는 방식 자체가 핵심임을 입증했습니다.
• 거인들을 이기다: 어떤 경우에는 약 80억 개의 "뇌 세포(파라미터)"를 가진 중간 규모의 오픈 소스 AI를 사용하는 이들의 시스템이 현재 사용 가능한 가장 비싼 폐쇄형 슈퍼컴퓨터들보다 더 나은 성능을 보였습니다. 이는 최고의 일을 하기 위해 반드시 가장 크고 비싼 컴퓨터가 필요한 것이 아니라, 올바른 사고 방식이 필요하다는 것을 시사합니다.
• "왜"의 힘: 연구는 성능 향상의 가장 큰 동력이 반복적인 탐색(iterative probing), 즉 질문하고 답을 얻고 다시 질문하는 과정에서 왔음을 보여주었습니다. 이를 통해 AI는 단 한 번의 훑어보기로는 놓쳤을 증거를 찾아낼 수 있었습니다. 또한 "전문가 지식"은 AI가 특히 까다롭고 세밀한 부분에 대해 답변을 더 잘 이해하도록 도왔습니다.

여전히 한계점은 존재함

연구진은 시스템이 여전히 어려움을 겪는 부분에 대해서도 솔직하게 밝혔습니다.

• 순식간에 지나가는 문제: 만약 무섭거나 이상한 일이 아주 짧은 순간 동안만 발생하고, AI가 마침 그 프레임을 보지 못한다면 시스템은 이를 놓칠 수 있습니다. 이는 마치 그물로 반딧불이를 잡으려는 것과 같습니다. 적절한 순간에 보고 있지 않으면 놓치고 마는 것입니다.
• 과잉 반응: 때때로 시스템은 위험을 찾는 데 너무 집중한 나머지, 위험이 없는 곳에서도 위험을 찾아내기도 합니다. 예를 들어, 만화 속 돼지가 뻣뻣하게 움직이는 것을 보고 단순히 과하게 조심스러워진 나머지 "비정상적 행동"이라고 판단할 수도 있습니다.

시사점

이 논문은 AI 영상의 시대에 아이들을 안전하게 지키기 위해서는 단순히 빠른 스캔에만 의존해서는 안 된다고 제안합니다. 우리는 탐정처럼 생각하는 시스템, 즉 질문을 던지고, 증거를 확인하며, 전문가와 과거 사례로부터 배운 것을 활용하는 시스템이 필요합니다. 더 나은 위험 지도를 구축하고 더 똑똑한 조사 방식을 만듦으로써, 우리는 다음 세대를 위한 더 안전한 디지털 놀이터를 만들 수 있습니다. 연구진은 자신들의 새로운 벤치마크(605개의 영상과 위험 지도)와 탐정 프레임워크가 다른 과학자들이 미래에 더 나은 안전 도구를 만드는 데 도움이 되기를 희망합니다.