해변 사진 한 장을 찍고 마법 같은 명령어를 입력하면, 파도가 치고 갈매기가 날아다니는 움직이는 영화로 바꿀 수 있는 세상을 상상해 보십시오. 이것이 바로 광고를 만들고, 이야기를 들려주고, 제품을 선보이는 방식을 급격히 변화시키고 있는 인공지능의 한 분야인 '이미지-투-비디오(Image-to-Video)' 생성 기술이 약속하는 미래입니다. 하지만 그림 그리는 법을 배우는 아이처럼, 이 AI 예술가들은 가끔 지나친 의욕을 부리기도 합니다. 사진을 흐릿하게 만들거나, 파도가 이상하고 떨리게 움직이게 하거나, 혹은—여기 까다로운 부분이 있습니다—원래 사진에는 없던 야자수를 갑자기 만들어내기도 합니다. 정확한 사실을 보여주는 것이 중요한 여행이나 부동산 같은 산업에서, 이러한 '환각(Hallucinations, AI가 사실이 아닌 것을 지어내는 현상)'은 큰 문제입니다. 우리는 영상을 세상에 공개하기 전에 AI의 작업물을 검토하여, 영상이 실제처럼 보이고, 움직임이 부드러우며, 어떤 가짜 요소도 추가되지 않았는지 확인하는 방법이 필요합니다.

여기에 AI 생성 영화를 위한 궁극의 '품질 관리 검사관'이 되도록 설계된 새로운 시스템, HALLELUAI가 등장했습니다. HALLELUAI를 단순한 심판이 아니라, 루프(loop) 안에서 일하는 지치지 않는 똑똑한 편집자로 생각하십시오. AI가 영상을 만들려고 시도할 때, HALLELUAI는 그 결과를 면밀히 관찰합니다. 만약 영상이 흐릿하거나, 카메라가 너무 흔들리거나, 혹은 AI가 호텔 사진에 없던 가짜 건물을 실수로 추가했다면, HALLELUAI는 단순히 "안 돼"라고 말하는 데 그치지 않습니다. 대신, HALLELUAI는 코치처럼 행동하며 무엇이 잘못되었는지 AI에게 정확히 알려주고, 다시 수정할 기회(두 번째 혹은 세 번째 기회)를 줍니다. 명령어를 미세하게 조정하거나, 카메라 각도를 바꾸거나, 심지어 그 일을 수행하려는 AI 모델 자체를 교체하며, 영상이 완벽해질 때까지 이 과정을 반복합니다. 연구진은 이 "시도하고, 확인하고, 고치고, 다시 시도하는" 접근 방식을 사용함으로써, 창의적인 전문가들이 만족할 만한 초현실적인 영상을 제작할 수 있었으며, 시스템이 영상의 좋고 나쁨을 판단할 때 인간 전문가와 약 87%의 일치율을 보였다는 것을 발견했습니다.

문제점: AI가 너무 창의적일 때

친구에게 당신의 강아지 사진을 설명해 달라고 부탁한다고 상상해 보십시오. 친구가 "네 강아지가 달리고 있어"라고 말한다면 괜찮습니다. 하지만 친구가 갑자기 "네 강아지가 달리고 있는데, 이제 날개가 생기고 모자까지 쓰고 있어"라고 말한다면, 그 친구는 환각을 일으킨 것입니다. AI 영상의 세계에서 이것은 재앙입니다. 만약 여행사가 호텔 객실을 보여주기 위해 AI를 사용한다면, AI가 존재하지 않는 수영장을 만들어내거나 가구들을 둥둥 떠다니게 해서는 안 됩니다.

현재 AI 영상을 체크하는 도구들은 국물 맛을 측정하기 위해 자를 사용하는 것과 같습니다. 그들은 전체 영상들이 평균적으로 얼마나 "실제 같은지"는 말해줄 수 있지만, 개별 영상을 보고 "이 특정 영상에는 가짜 나무가 들어있어"라거나 "카메라가 너무 많이 흔들려"라고 말할 수는 없습니다. 그들은 시청자의 경험을 망치는 작고 짜증 나는 실수들을 놓칩니다.

해결책: HALLELUAI 루프

저자들은 생성과 교정의 폐쇄 루프(closed loop)를 구축함으로써 이를 해결하기 위해 HALLELUAI를 만들었습니다. 작동 방식은 다음과 같습니다.

1. 첫 번째 초안
시스템은 시작 사진과 창의적인 아이디어(예: "카메라가 천천히 줌인하게 해줘")를 받아 AI에게 영상을 생성하도록 요청합니다.

2. 엄격한 검사관 (조절 모듈 - Moderation Module)
영상이 외부로 나가기 전, HALLELUAI의 '조절 모듈'이 현미경으로 보듯 영상을 정밀 검사합니다. 다음 세 가지 주요 사항을 확인합니다:

• 프레임 품질 (Frame Quality): 사진이 흐릿한가? 너무 어둡거나 밝지는 않은가? 이상한 노이즈가 있는가? 시스템은 조명과 선명도가 변하지 않았는지 확인하기 위해 모든 프레임을 원본 사진과 비교합니다.
• 움직임의 부드러움 (Motion Smoothness): 카메라가 전문 영화감독처럼 움직이는가, 아니면 손이 떨리는 것처럼 흔들리는가? 또한 움직임이 지시 사항(예: "왼쪽으로 팬(pan) 해줘"라고 요청했을 때 실제로 왼쪽으로 움직였는지)과 일치하는지 확인합니다.
• 환각 추적 (The Hallucination Hunt): 이것이 가장 중요한 부분입니다. 시스템은 강력한 AI 브레인을 사용하여 있어서는 안 될 것들을 찾아냅니다. 물체가 사라졌는가? 두 물체가 이상한 덩어리로 합쳐졌는가? 새로운 물체가 갑자기 장면 속에 나타났는가? 시스템은 특히 '새로운 구조 환각(New Structure Hallucinations, 가짜 물체가 나타나는 것)'과 '물체 환각(Object Hallucinations, 실제 물체의 모양이 변하거나 사라지는 것)'을 집중적으로 찾아냅니다.

3. 코치 (에이전트 재생성 모듈 - Agentic Regeneration Module)
만약 영상이 검사를 통과하지 못하면, HALLELUAI는 단순히 버리지 않습니다. 대신 똑똑한 코치처럼 행동합니다. 구체적인 실수를 파악하고 해결책을 결정합니다.

• 움직임이 너무 흔들렸다면, AI에게 "카메라를 안정화하라"고 지시합니다.
• 조명이 잘못되었다면, "노출을 조정하라"고 말합니다.
• AI가 계속해서 가짜 나무를 만들어낸다면, 다른 AI 모델로 교체하거나 원본 이미지의 디테일을 엄격하게 유지하도록 프롬프트를 수정할 수 있습니다.
• 물체가 흐릿하다면, 다른 '시드(seed, 생성의 시작점이 되는 무작위 값)'를 사용하여 다시 시도하도록 요청할 수 있습니다.

그 후 시스템은 새로운 버전의 영상을 생성하고 다시 확인합니다. 시스템은 영상이 테스트를 통과하거나 최대 시도 횟수에 도달할 때까지 생성, 확인, 수정, 생성의 과정을 반복합니다.

연구 결과

연구팀은 HALLELUAI가 이 역할을 수행할 수 있는지 확인하기 위해 실제 전문가들과 함께 테스트를 진행했습니다.

• 일치도: HALLELUAI의 결정과 인간 창의적 전문가의 결정을 비교했을 때, 시스템은 인간과 **86.9%**의 확률로 일치했습니다. 이는 기계가 인간 편집자처럼 생각하는 법을 배우고 있다는 강력한 신호입니다.
• 정밀도: 시스템이 영상을 "좋음(PASS)"이라고 판정했을 때, 초기 테스트에서 **88%**의 정확도를 보였습니다.
• 실전 테스트: 시스템이 인간에게 보여주기 전 영상을 수정할 수 있도록 허용된 '의사 제작(Pseudo Production)' 테스트에서, 품질이 급격히 상승했습니다. 시스템이 승인한 1,158개의 영상 중 1,126개가 인간 전문가로부터도 승인을 받았습니다. 이는 **97%**의 성공률입니다.

또한 연구진은 기존의 다른 도구들과 이 시스템을 비교했습니다. 그 결과, 표준적인 비디오 품질 검사기(DOVER 및 COVER 등)는 이러한 특정 AI 오류를 포착하도록 설계되지 않았기 때문에, 좋은 AI 영상과 나쁜 AI 영상을 구분하지 못한다는 것을 발견했습니다. 심지어 강력한 AI 챗봇들도 특별한 지시 없이 단순히 "영상을 봐달라"는 요청을 받았을 때는 미세한 오류를 잡아내는 데 실패했습니다. HALLELUAI가 효과적이었던 이유는 바로 이러한 문제들을 찾기 위해 특화되어 설계되었고, 이를 해결할 계획을 가지고 있었기 때문입니다.

이것이 왜 중요한가

이것은 단순히 예쁜 영상을 만드는 문제가 아니라, '신뢰'에 관한 문제입니다. 부동산이나 여행 분야에서 AI가 존재하지 않는 수영장이 있는 집을 보여준다면, 그것은 단순한 재미있는 실수가 아니라 법적, 평판적 리스크가 됩니다. HALLELUAI는 우리가 통제력을 잃지 않으면서도 AI 영상 제작 규모를 키울 수 있음을 보여줍니다. 엄격한 검사관과 유능한 코치를 결합함으로써, 이 시스템은 최종 결과물이 매우 사실적일 뿐만 아니라 원본 이미지에도 충실하도록 보장합니다. 이는 AI 생성의 혼란스럽고 "추측하고 확인하는" 성격을 신뢰할 수 있는 산업적 프로세스로 바꿔놓습니다. 저자들은 이 프레임워크가 멋진 기술과 현실 세계의 신뢰성 사이의 간극을 메우며, 기업들이 AI 영상을 안전하고 유용하게 사용할 수 있도록 하는 중요한 단계라고 제안합니다.