A Large-scale Evaluation of Text-guided Models for Facial Editing

단순히 컴퓨터에 문장 하나를 입력하는 것만으로 사람의 머리 색깔을 바꾸거나, 안경을 씌우거나, 고개를 돌려 지평선을 바라보게 할 수 있는 디지털 아티스트를 상상해 보십시오. 이것이 바로 텍스트 가이드 이미지 편집(text-guided image editing)이 약속하는 미래입니다. 이는 인공지능이 인간의 언어를 이해하고 그 지침을 사진에 적용하는 법을 배우는 급성장하는 분야입니다. 수년간 연구자들은 이러한 과업을 수행할 수 있는 시스템을 구축해 왔지만, 이들은 종-종 특정한 문제로 어려움을 겪었습니다. 바로 사진 속 인물이 본인처럼 보이도록 유지하면서 요청된 변경 사항을 적용하는 일입니다. 기존의 방식들은 얼굴을 너무 많이 바꾸어 누구인지 알아볼 수 없게 만들거나, 혹은 머리 각도를 바꾸는 것과 같이 매우 제한적인 조정만을 할 수 있었습니다. 이제, 복잡하고 사실적인 편집을 텍스트 프롬프트에 기반하여 수행할 수 있는 능력을 제공하며 이러한 문제들을 해결한다고 주장하는 새로운 세대의 도구들이 등장했습니다. 하지만 이러한 도구들이 점점 더 강력해짐에 따라, 한 가지 중요한 질문이 남습니다. 이 도구들이 모두에게 똑같이 잘 작동하는 것일까요, 아니면 서로 다른 집단의 사람들을 불공평하게 대하는 숨겨진 결함을 가지고 있는 것일까요?

한 연구팀은 가장 인기 있는 6개의 텍스트 가이드 편집 모델을 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 단순히 컴퓨터에 몇 가지 무작위적인 변화를 요청한 것이 아니라, 거의 100만 건의 이미지 편집을 포함하는 거대하고 체계적인 평가를 수행했습니다. 목표는 모델이 머리 색깔을 바꾸고, 모자를 쓰고, 모자를 바꾸고, 마지막으로 고개를 돌리는 것과 같은 네 가지 연속적인 지침을 어떻게 처리하는지 확인하는 것이었습니다. 이를 위해 연구진은 헤어, 액세서리, 머리 위치에 초점을 맞춘 169개의 구체적인 편집 작업으로 구성된 새롭고 광범위한 라이브러리를 구축했습니다. 그들은 남성과 여성, 젊은이와 노인, 밝은 피부 톤과 어두운 피부 톤이 다양하게 섞인 두 개의 대규모 유명인 사진 컬렉션을 대상으로 모델을 테스트했습니다.

결과는 오늘날 이 기술들이 어디에 서 있는지에 대한 명확한 그림을 보여주었습니다. 모델들은 헤어나 액세서리를 변경하는 데 상당히 유능한 것으로 증명되었습니다. 헤어스타일을 바꾸거나 선글라스를 씌워달라는 요청을 받았을 때, 대부분의 시스템은 인물의 얼굴을 알아볼 수 있게 유지하면서 지침을 성공적으로 따랐습니다. 그러나 동일한 모델들은 인물의 포즈를 바꾸는 것, 예를 들어 왼쪽이나 오른쪽을 보게 하는 등의 요청에는 크게 어려움을 겪었습니다. 이러한 경우, 시스템은 명령을 따르는 데 실패하거나 얼굴을 변형시켜 본래의 인물을 알아볼 수 없게 만들곤 했습니다.

아마도 더 우려스러운 점은 모든 모델이 "과잉 편집(over-edit)"하는 경향이 있다는 발견였습니다. 이는 사용자가 특정 지침을 주었을 때, 컴퓨터가 요청하지 않은 것까지 자주 바꾼다는 것을 의미합니다. 예를 들어, 사용자가 헤어스타일을 단발머리로 바꿔달라고 요청하면, 모델은 사용자가 색상 변경을 요청하지 않았음에도 불구하고 머리카락 색을 갈색으로 바꾸는 등의 행동을 할 수 있습니다. 연구진은 이러한 오류가 빈번하게 발생한다는 것을 발견했으며, 모델은 100개의 지침당 약 25개의 원치 않는 추가 변경을 수행했습니다. 이러한 오류는 무작위적인 것이 아니었습니다. 이는 모델이 특정 헤어스타일은 항상 특정 머리 색과 함께 간다는 식의 잘못된 연관성을 학습했기 때문에 발생했습니다.

또한 이 연구는 모델이 서로 다른 사람들을 대하는 방식에서 상당한 편향성을 발견했습니다. 과잉 편집은 모든 얼굴에 균등하게 나타나지 않았습니다. 모델은 특히 어두운 피부 톤을 가진 남성의 얼굴을 편집할 때, 그리고 노인의 얼굴을 편집할 때 원치 않는 변경을 할 가능성이 훨씬 높았습니다. 예를 들어, 어두운 피부를 가진 남성의 머리카락을 편집하라는 요청을 받았을 때, 시스템은 밝은 피부의 여성을 편집할 때보다 얼굴의 특징을 바꾸거나 피부 톤을 변경하는 등의 실수를 할 가능성이 훨씬 높았습니다. 마찬가지로, 모델은 노인의 얼굴을 보존하는 데 덜 성공적이었으며, 젊은 사람들의 얼굴보다 노인의 얼굴을 더 젊게 만들거나 특징을 더 극적으로 변화시켰습니다.

이러한 결과는 텍스트 가이드 편집 도구가 실생활에서 사용될 만큼 강력해지고는 있지만, 아직 완벽하지는 않다는 점을 시사합니다. 이 도구들은 모자를 쓰거나 머리 색을 바꾸는 것과 같은 단순한 작업에는 잘 작동하지만, 더 복합적인 움직임에는 여전히 어려움을 겪으며, 특정 집단에 대해 불공정하거나 부정확한 결과를 초래할 수 있는 숨겨진 편향을 가지고 있습니다. 연구진은 향arian 과제는 이러한 과잉 편집 습관을 고치고, 나이, 성별, 피부 톤에 관계없이 모든 얼굴을 동일한 수준의 정확성과 존중으로 대하도록 보장하는 데 집중해야 한다고 강조합니다. 이러한 문제들이 해결될 때까지, 사용자들은 이 디지털 아티스트들이 아직 배우는 중이며, 때로는 요청한 것보다 더 많은 것을 바꿀 수 있다는 점을 인지해야 합니다.