RRFC: Recursive Refinement via Feedback Conditioning for Iterative Image-to-Image Generation

인공지능의 세계에서 컴퓨터는 설명이나 스케치를 바탕으로 이미지를 생성하는 데 매우 뛰어난 능력을 갖추게 되었습니다. 수년 동안 이러한 시스템이 작동하는 표준 방식은 카메라의 단 한 번의 결정적인 셔터 소리와 같았습니다. 즉, 기계가 입력을 받으면 계산을 한 번 수행하고 최종 결과물을 만들어내는 방식이었습니다. 만약 결과물이 약간 어긋나거나—얼굴이 너무 넓어 보이거나 질감이 어색하게 느껴지는 경우—시스템은 이를 스스로 인지하거나 수정할 방법이 없었습니다. 시스템은 그 출력을 최종 단계로 단순히 받아들였습니다. 개선할 수 있는 유일한 방법은 전체 시스템을 처음부터 다시 학습시키는 것이었는데, 이는 수천 개의 사례를 바탕으로 기계의 내부 규칙을 조정하는 느린 과정이었지만, 현재 생성 중인 특정 이미지에는 아무런 도움을 주지 못했습니다. 이러한 한계는 이미지가 생성되고 나면 기계가 자신의 실수를 보지 못하게 만들었습니다.

베이루트 아메리칸 대학교(American University of Beirut)의 연구진은 이러한 간극을 메우기 위해, 이미지 생성기가 자신의 작업물을 살펴보고 다시 시도할 수 있게 하는 새로운 방법을 제안했습니다. 그들은 이 방법을 '피드백 컨디셔닝을 통한 재귀적 정교화(Recursive Refinement via Feedback Conditioning)'라고 부릅니다. 첫 번째 시도를 최종 답변으로 취급하는 대신, 시스템은 자신의 이전 출력을 자신의 입력값으로 다시 피드백하도록 학습됩니다. 화가가 캔버스에서 한 걸음 물러나 얼룩이나 맞지 않는 선을 발견하고, 그 관찰을 바탕으로 다음 붓질을 가이드하는 모습을 상상해 보십시오. 이 디지털 버전에서 컴퓨터는 방금 만든 이미지를 가져와 이를 새로운 정보로 취급하고, 이를 원래의 요청과 결합하여 두 번째의 개선된 버전을 생성합니다. 이 과정은 반복될 수 있으며, 기계는 미래의 학습 세션을 기다리는 대신 실시간으로 자신의 오류를 수정하며 단계적으로 이미지를 정교하게 다듬어 나갑니다.

연구진은 이 아이디어를 단판 승부형의 오래된 시스템부터 이미 내부 루프를 사용하여 이미지를 생성하는 더 복잡하고 새로운 시스템에 이르기까지, 여섯 가지 서로 다른 유형의 이미지 생성 모델에 부착하여 테스트했습니다. 그들은 이 기술을 도시의 거친 지도를 사실적인 사진으로 바꾸는 것, 풍경의 누락된 부분을 채우는 것, 그리고 단순한 얼굴 스케치를 상세한 초상화로 변환하는 세 가지 뚜렷한 작업에 적용했습니다. 목표는 기계가 자신의 이전 시도를 '보는' 것이 실제로 최종 사진을 더 좋게 만드는지, 아니면 단순히 시스템을 혼란스럽게 만드는지 확인하는 것이었습니다.

결과는 명확했지만, 그것은 전적으로 기계가 무엇을 달성하려고 하는지에 달려 있었습니다. 작업이 이미지를 사실적으로 만들거나 사람의 특정 정체성을 보존하는 것에 관한 것이었을 때, 정교화 과정은 훌륭하게 작동했습니다. 풍경 인페인팅(inpainting) 작업의 경우, 개선된 이미지들은 현저히 더 나은 질감과 명료함을 보여주었으며, 기계는 원래 버전이 놓쳤던 세부 사항들을 성공적으로 수정했습니다. 마찬가지로 스케치를 얼굴로 바꿀 때, 시스템은 인물의 특징을 훨씬 더 잘 인식할 수 있게 되었고, 단판 승부형 모델이 할 수 없었던 방식으로 닮은꼴을 날카롭게 다듬었습니다. 이러한 경우, 기계가 자신의 작업을 검토하고 조정하는 능력은 테스트된 대부분의 모델에서 측정 가능하고 통계적으로 유의미한 개선으로 이어졌습니다.

하지만 이 방법이 모든 상황에서 작동한 것은 아니었습니다. 작업이 기계에게 엄격한 배치나 객체의 배열을 요구할 때—예를 들어 도시 지도상의 특정 위치에 건물이 나타나도록 보장해야 하는 경우—추가적인 정교화 단계는 오히려 상황을 악화시켰습니다. 이러한 경우, 새로운 방법을 사용한 모든 모델은 원래의 단판 승부형 버전보다 정확도가 떨어지는 결과를 냈습니다. 연구진은 자기 수정의 이점이 보편적인 것이 아니라는 점을 발견했습니다. 즉, 목표가 시각적 품질이나 피사체의 특정 정체성을 개선하는 데 있을 때만 도움이 된다는 것입니다. 요소의 구조적 배치가 주요 과제인 경우, 다시 시도하는 추가 루프는 명료함보다는 혼란을 야기하는 것으로 보입니다.

이러한 구분은 기계에게 자신의 출력물을 성찰할 능력을 주는 것이 모든 문제에 대한 마법 같은 해결책은 아니라는 점을 알려준다는 점에서 매우 중요합니다. 이것은 세부 사항을 다듬고 정체성을 보존하는 데는 탁월하지만, 엄격한 레이아웃 준수가 우선순위일 때는 비틀거릴 수 있는 도구입니다. 연구는 이 재귀적 접근 방식의 가치가 작업이 시각적 충실도를 점진적으로 향착할 수 있는지 여부에 달려 있음을 시사합니다. 기계가 사진을 더 실제처럼 만들거나 얼굴을 대상과 더 닮게 만드는 법을 배울 수 있는 작업의 경우, 반복하고 정교화하는 능력은 강력한 이점이 됩니다. 하지만 요소의 배치가 주요 도전 과제인 작업에서는 전통적인 단판 승부형 방식이 더 신뢰할 수 있습니다. 이 연구는 기계가 자신의 실수를 바로잡는 법을 배울 수 있지만, 그 실수의 성격이 구조적인 근본 변화를 요구하는 것이 아니라 시각적으로 인지하고 조정할 수 있는 것일 때 가장 잘 수행한다는 것을 보여줍니다.