MiniGPT-Reverse-Designing: Predicting Image Adjustments Utilizing MiniGPT-4

현대 인공지능의 세계에서 컴퓨터는 두 가지 별개의 작업, 즉 보는 것과 말하는 것에 있어 놀라울 정도로 능숙해졌습니다. 한편으로는 시각 시스템이 사진을 보고 그 안에서 일어나는 일을 놀라운 정확도로 설명할 수 있습니다. 다른 한편으로는 언어 모델이 방대한 양의 텍스트를 처리함으로써 이야기를 쓰고, 질문에 답하며, 대화를 나눌 수 있습니다. 최근 과학자들은 이 두 가지 능력을 결합하여 이미지와 문장을 동시에 이해할 수 있는 시스템을 만드는 데 성공하며 이 둘 사이의 가교를 놓기 시작했습니다. 비전-언어 모델(vision-language models)로 알려진 이러한 하이브리드 도구들은 이미 사진에 대해 질문에 답하거나 장면의 캡션을 작성하는 등의 작업을 수행할 수 있습니다. 그러나 대부분의 시스템은 단일 이미지를 보고 이를 설명하거나, 사진과 질문을 보고 답을 제공하도록 훈련되어 있습니다. 이들은 아직 전후 관계가 있는 한 쌍의 이미지를 보고, 특히 그 변화가 밝기, 대비 또는 색상 균형과 같은 구체적인 조정과 관련될 때 그 사이에서 정확히 무엇이 변했는지 파악하도록 훈련되지 않았습니다.

이러한 이해의 공백은 연구자 바히드 아지지(Vahid Azizi)와 파테메 쿠차키(Fatemeh Koochaki)의 새로운 연구의 초점입니다. 그들은 미니GPT-4(MiniGPT-4)라는 강력한 오픈 소스 비전-언어 모델을 '역설계(reverse designing)'라고 부르는 작업을 수행하도록 가르칠 수 있는지 알아보기 위해 이 연구를 시작했습니다. 예를 들어, 노을이 지는 사진이 있고, 그다음에는 하늘을 더 주황색으로 만들고 물을 더 어둡게 만든 동일한 사진의 두 번째 버전이 있다고 가정해 보십시오. 인간 편집자라면 그 느낌을 내기 위해 어떤 슬라이더가 움직였는지 정확히 알 수 있을 것입니다. 연구진은 컴퓨터가 원본과 편집된 버전을 보고, 아마도 "더 극적으로 만들어줘"와 같은 모호한 힌트와 함께, 그 편집을 만들기 위해 사용된 구체적인 기술적 단계와 수치를 예측할 수 있는지 알고 싶었습니다. 이는 컴퓨터가 두 개의 서로 다른 이미지를 동시에 이해해야 할 뿐만 아니라 그들 사이의 관계까지 파악해야 하는 복잡한 과제이며, 단순히 하나의 사진에 담긴 내용을 설명하는 수준을 넘어서는 작업입니다.

이를 테스트하기 위해 연구진은 이미 이미지와 텍스트를 이해하도록 훈련된 미니GPT-4 모델을 가져와 I-MAD-Dense라는 특정 데이터셋을 사용하여 미세 조정(fine-tuning)했습니다. 이 데이터셋은 약 22,000개의 사례로 구성되어 있으며, 각 사례는 소스 이미지, 해당 이미지의 편집된 버전, 그리고 편집 뒤에 숨겨진 창의적인 아이디어에 대한 고차원적인 설명을 포함합니다. 결정적으로, 이 데이터셋에는 원본 이미지를 생성하기 위해 적용된 작업의 목록과 그 수치적 값인 '그라운드 트루스(ground truth, 정답)'가 포함되어 있습니다. 연구진은 이러한 기술적인 작업 목록을 언어 모델이 읽을 수 있도록 문장으로 변환했습니다. 그런 다음 모델에 이미지 쌍과 선택적인 텍스트 설명을 입력하고, 첫 번째 이미지를 두 번째 이미지로 변화시킨 변화 목록을 예측하도록 요청했습니다.

연구팀은 모델이 이 기술을 얼마나 잘 학습할 수 있는지 확인하기 위해 여러 실험을 진행했습니다. 첫 번째 시도에서 그들은 모델의 구조를 변경하지 않고 기존 모델을 단순히 미세 조정했습니다. 결과는 모델이 이 작업을 학습할 수 있음을 보여주었으며, 평균적으로 약 72%의 확률로 변화의 유형을 성공적으로 예측했습니다. 그러나 연구진은 모델이 가끔 잘못된 변화의 개수를 추측하거나 구체적인 값을 약간 틀리게 맞춘다는 점을 발견했습니다. 이를 개선하기 위해, 모델이 예측한 조정 수치가 실제 값과 멀리 떨어져 있을 때마다 훈련 과정에 수학적 페널티를 추가하는 방법을 시도했습니다. 이 작은 수정은 모델이 수치를 더 정확하게 예측하도록 도와 예측 오차를 줄이는 데 도움이 되었습니다. 또한 "밝기를 조절하라"와 같이 텍전적인 명령을 텍스트로 주는 것이 도움이 될지 테스트했습니다. 결과는 명확한 지침이 있을 때 텍스트 맥락을 제공하는 것이 모델이 올바른 변화를 찾는 능력을 유의미하게 향 향상시킨다는 것을 확인해 주었습니다.

연구진은 또한 이미지와 단어를 구분하기 위해 텍스트에 특수한 마커를 추가하는 것이 모델이 서로 다른 입력을 추적하는 데 도움이 될지 탐구했습니다. 그들은 한 이미지가 끝나고 다음 이미지가 시작됨을 알리는 특정 토큰을 삽asi 넣어 보았으나, 이는 오히려 모델의 성능을 저하시켰습니다. 이 발견은 모델의 기존 방식이 이미지와 텍스트를 처리하는 데 충분하며, 인위적인 추가 마커가 명확하게 하기보다는 오히려 혼란을 준다는 것을 시사합니다. 또 다른 실험에서는 모델이 변화의 개수를 더 정확하게 예측하도록 (너무 많거나 적게 추측하는 것에 대해) 페널티를 주는 방식을 시도했지만, 이 접근 방식 역시 결과를 개선하는 데 실패했으며 어떤 경우에는 결과를 악화시키기도 했습니다.

미세 조정된 모델과 수치 오류를 처리하는 특정 방식을 결합한 가장 성공적인 시스템은, 이러한 비전-언어 모델이 실제로 복잡한 다단계 관계를 학습할 수 있음을 보여주었습니다. 모델은 편집에 대한 텍스트 설명이 주어졌을 때 가장 높은 성능을 보였으며, 이는 시각적 이해를 가이드하는 데 있어 언어의 중요성을 강조합니다. 이 시스템이 아직 완벽하지는 않으며 여전히 일부 복잡한 시나리오에서 어려움을 겪고 있지만, 본 연구는 기성 모델(off-the-shelf models)이 이미지 편집의 역설계와 같은 정교한 작업을 처리하도록 확장될 수 있음을 입증합니다. 연구진은 현재의 결과가 유망하지만, 더 세밀한 디테일을 포착하기 위한 고해 resolution 이미지 사용이나 더욱 정교하게 선별된 인간 생성 데이터에 대한 훈련 등 개선의 여지가 남아 있다고 결론지었습니다. 이 작업은 편집자들이 자신의 작업 흐름을 이해하는 데 도움을 주거나, 컴퓨터가 이미지가 생성되는 역사로부터 학습할 수 있게 하는 미래의 도구를 위한 문을 열어줍니다.