💻 computer science

Localize, Don't Beautify: Client-Side Control of Image-Editing APIs for Cosmetic Surgery Previews

본 연구는 클라이언트 측 마스킹 및 합성 기술이 모델 내부 구조에 대한 접근 없이도 다양한 상용 API 전반에 걸쳐 성형 수술 편집을 특정 얼굴 영역으로 효과적으로 국소화할 수 있음을 입증하며, 다른 얼굴 특징에 대한 의도하지 않은 변형을 방지하기 위한 저비용 솔루션을 제공한다.

원저자: Sukhrobbek Ilyosbekov

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sukhrobbek Ilyosbekov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 멀리 떨어진 서버에 살고 있는, 모든 것을 알고 있는 마법 같은 사진 편집기를 사용하려 한다고 상상해 보세요. 당신은 사진 한 장과 간단한 메모를 보냅니다. "제 턱선을 더 날카롭게 만들어 주세요." 하지만 이 마법 상자는 약간의 과시욕이 있습니다. 단순히 턱선만 다듬는 것이 아니라, 피부를 매끄럽게 하고, 치아를 밝게 하며, 조명을 바꾸고, 어쩌면 코 모양까지 바꿔버립니다. 이는 마치 요리사에게 수프에 소금 한 꼬집을 넣어달라고 부탁했더니, 채소와 육수, 고명까지 모두 바꿔서 레시피 전체를 새로 써버리는 것과 같습니다. 이것이 바로 "블랙박스(black-box)" 이미지 편집 API의 세계입니다. 입력값과 출력값은 볼 수 있지만, 그 내부에서 마법이 어떻게 일어나는지는 알 수 없으며, 도구에게 "이 부분만 건드려라"라고 명령할 수도 없는 강력한 도구들 말이죠.

수십 년 동안 외과의사들은 환자에게 성형 수술 후의 모습이 어떠할지 보여주기 위해 이런 종류의 미리보기 화면을 사용해 왔습니다. 하지만 미리보기가 얼굴을 너무 많이 변화시키면, 환자는 자신을 알아보지 못하거나 요청하지 않은 변화에 흥ink(흥분)할 수도 있습니다. 과학자들에게 던져진 큰 질문은 이것입니다. 만약 당신이 도구 내부로 들어가서 주의를 줄 수 없다면, 사용자로서 그 도구가 정해진 길을 벗어나지 못하도록 강제할 수 있을까? 이 논문은 도구의 비밀 코드를 해킹하지 않고도 이 문제를 해결하는 영리한 트릭을 탐구합니다.

연구진은 이 이미지 편집기들이 경로를 이탈하는 것을 막을 수 있는지 확인하기 위해 작은 실험을 설정했습니다. 그들은 여섯 가지 서로 다른 상용 사진 편집 도구를 의욕은 넘치지만 약간 지나친 열정을 가진 조수 그룹처럼 취급했습니다. 그들은 도구에게 얼굴의 특정 부분(코나 턱 같은)을 편집하되, 나머지 얼굴은 원래 그대로 두라는 간단한 임무를 주었습니다. 먼저, 그들은 "코를 고치되, 다른 것은 건드리지 마라"와 같이 단순한 텍text 프롬프트만을 보내보았습니다. 그들이 예상했던 대로, 도구들은 "건드리지 마라"는 부분을 무시하고 얼굴 전체를 변화시켜 피부를 매끄럽게 하고 조명을 바꾸는 등의 작업을 수행했습니다.

그다음, 연구진은 "마스크 합성(masked composite)"이라고 부르는 다른 접근 방식을 시도했습니다. 창문에 묻은 얼룩을 고쳐달라고 화가에게 부탁하는데, 당신은 그 화가가 벽 전체를 다시 칠할 것이라는 사실을 알고 있다고 상상해 보세요. 화가와 논쟁하는 대신, 당신은 화가가 작업을 마칠 때까지 기다렸다가, 구멍이 뚫린 테이프(마스크)를 가져와 창문에 붙입니다. 그런 다음 원래 사진에서 색칠된 창 부분만을 정교하게 잘라내어 원래의 벽 위에 다시 붙임으로써, 나머지 벽은 이전과 똑같이 유지합니다. 디지털 세계에서 연구진은 편집된 사진을 가져와, 바꾸고자 하는 부분만을 잘라낸 뒤, 자연스럽게 보이도록 부드러운 경계선(feathered edge)을 사용하여 원래 사진 위에 다시 붙이는 방식으로 이 작업을 수행했습니다.

결과는 놀라울 정도로 명확했습니다. 연구진이 텍mal 프롬프트만을 사용했을 때는 편집기가 건드리지 말아야 할 얼굴의 많은 부분을 변화시켰습니다. 하지만 "잘라 붙이기" 트릭을 사용했을 때는 나머지 얼굴을 손대지 않고 성공적으로 유지할 수 있었습니다. 실제로 연구진이 측정할 수 있는 얼굴들에 대해, 이 방법은 요청한 코나 턱의 변화를 수행하면서도 편집이 적절한 위치에 머물도록 하는 능력을 엄청난 차이로 개선했습니다(그들의 척도에서 중앙값 0.446의 개선). 또한 "잘라 붙이기" 방식은 가장 비싼 도구부터 저렴한 도구까지 그들이 테스트한 모든 편집기에서 작동했습니다.

하지만 이 논문은 몇 가지 중요한 한계점도 발견했습니다. 테스트한 편집기 중 하나에는 도구가 정확히 어디에 칠해야 할지 알려주는 특수한 "인페인팅(inpainting)" 모드가 있었는데, 이 특수 모드조차도 연구진이 발명한 단순한 "잘라 붙이기" 트릭보다 변화를 국소적으로 유지하는 데 더 나은 성능을 보이지 못했습니다. 더욱이, 연구진은 자신들의 트릭을 사용한 후 얼굴이 원본 인물과 더 닮았다는 것을 측정할 수는 있었지만, 어떤 편집기도 실제 "수술 후" 사진처럼 얼굴을 만들지는 못했다는 점도 발견했습니다. 즉, 도구들이 수술을 제대로 수행한 것이 아니라, 단지 나머지 얼굴을 망가뜨리지 않는 데 더 능숙해졌을 뿐이라는 것입니다.

저자는 이것이 성형 수술을 위한 마법 같은 해결책이 아니라고 매우 신중하게 밝히고 있습니다. 그들은 실제 외과의사가 사진을 보고 변화가 의학적으로 현실적인지 확인하게 하지 않았습니다. 또한 측면 프로필과 같은 일부 각도의 경우, 컴퓨터가 얼굴 랜드마크를 찾지 못해 "잘라 붙이기" 트릭이 잘 작동하지 않는다는 점도 언급했습니다. 그러나 핵심적인 결론은 안심할 만한 것입니다. 설령 당신이 내부를 제어할 수 없는 블랙박스 도구를 사용해야 하더라도, 자신의 컴퓨터에서 간단한 "잘라 붙이기" 트릭을 사용함으로써 그 도구가 정해진 길을 벗어나지 못하게 강제할 수 있다는 것입니다. 이는 당신의 디지털 미리보기가 당신의 얼굴을 다른 사람의 얼굴로 바꾸지 않도록 보장하는 저비용의 쉬운 방법입니다.

기술 요약: 미화가 아닌 국소화(Localize, Don't Beautify)

문제 정의
공개 엔드포인트를 통해서만 접근 가능한 블랙박스 모델로 작동하는 상용 이미지 편집 API는 미용 성형 프리뷰를 요청할 때 특정 영역에 편집을 국한시키는 데 자주 실패한다. 특정 부위(예: 코 축소 또는 턱선 재배치)를 변경하라는 요청은 피부 결 개선, 조명 조정 또는 얼굴 전체의 정체성 변화와 같은 "대상 외(off-target)" 변화를 유발하곤 한다. Blended Diffusion, SDEdit 또는 어텐션 인젝션(attention injection)과 같은 기존의 국소화 편집 방법들은 모델의 내부 상태(잠재 변수, 어텐션 맵 또는 샘플링 루프)에 대한 접근을 필요로 하지만, 공개 API는 이를 노출하지 않는다. 결과적으로, 모델의 내부 구조에 대한 접근 없이 클라이언트 측에서만 얼마나 많은 제어를 가해 원치 않는 전역적 수정을 방지할 수 있는지에 대한 이해의 공백이 존재한다.

방법론
저자는 6개의 상용 편집 구성(GPT Image 2 2개 티어, Nano Banana Pro/2, Seedream 5.0 Lite, FLUX.2 [pro])과 1개의 마스크 기반 인페인팅 모델(Qwen-Image-Edit)을 평가하는 파일럿 벤치마크를 수행하였다. 본 연구는 15개의 서로 다른 얼굴(12개의 전면 안면 거상술 및 14개의 코 성형 입력, 분석 시 일부 중복 포함)에 대해 210번의 편집 시도를 수행하며, 세 가지 수준의 클라이언트 측 개입을 테스트하는 "제어 사다리(control ladder)" 접근법을 활용하였다:

프롬프트 전용(Prompt Only): 모델이 이미지와 텍스트 지침을 직접 받는다. 이는 통제되지 않은 출력에 대한 베이스라인 역할을 한다.
마스크 합성(Masked Composite): 모델이 전체 이미지를 편집하지만, 클라이언트 측 시스템이 랜드마크 기반 유사도 워핑(similarity warps)을 사용하여 출력을 입력값에 정렬한다. 이후 편집된 영역을 페더링된 마스크(MediaPipe face mesh 또는 InsightFace 랜드마크에서 유도됨)를 통해 추출하여 원본 사진 위에 합성한다. 마스크 외부의 픽셀은 원본으로부터 엄격하게 보존된다.
마스크 인페인팅(Masked Inpaint): 해당 기능을 지원하는 모델의 경우, 클라이언트가 영역 마스크를 명시적으로 전달하여 해당 영역 내에서만 인페인팅을 수행하도록 요청한다.

진단 프로토콜
평가는 이 시스템들이 임상적 검증 도구가 아닌 시스템 진단 도구임을 명시하며, 두 부분으로 구성된 진단 시스템을 사용하였다:

정체성 보존(Identity Preservation): 입력과 출력 얼굴 사이의 ArcFace 코사인 유사도를 사용하여 측정하였다. 휴리스틱 참조값으로 0.6의 임계값을 사용하였다.
영역 국소화(Regional Localization): CIELAB $\Delta E_{76}$ 색차를 사용하여 측정하였다. 이 지표는 타겟 영역의 픽셀 변화량( $\Delta E_{tgt}$ )과 서로 떨어진 "유지 구역(keep zone)"(상안부)( $\Delta E_{off}$ )의 비율을 계산한다. 국소화 점수는 $\frac{\Delta E_{tgt}}{\Delta E_{tgt} + \Delta E_{off}}$ 로 정의된다.
수술 후 참조(Postoperative Reference): 쌍을 이루는 수술 후 사진이 있는 얼굴의 경우, 편집된 임베딩을 수술 후 사진과 비교하였으며, 이때 편집되지 않은 입력값과 수술 후 사진 사이의 유사성을 베이스라인으로 사용하였다.

주요 결과

국소화: 마스크 합성이 국소화를 크게 개선하였다. 프롬프트 전용 출력의 중앙값 국소화 비율은 0.538이었으나, 마스크 합성은 0.985의 중앙값을 달성하였다. 12개의 전면 얼굴에 대해, 합성은 타겟 영역에서의 변화 수준을 유사하게 유지하면서도 프롬프트 전용 출력 대비 중앙값 0.446(95% 부트스트랩 구간 0.421–0.457)만큼 국소화를 개선하였다.
정체성 유지: 에디터마다 편집 강도와 정체성 유지 사이의 트레이드오프가 다양하게 나타났다. FLUX.2 [pro]는 가장 강력한 편집을 생성했으나 정체성 점수는 가장 낮았다(프롬프트 전용 중앙값 0.629, 일부 사례에서 0.195까지 하락). Nano Banana 구성과 Seedream 5.0 Lite는 정체성을 더 잘 유지하였으나(중앙값 >0.90), 타겟 변화는 덜 공격적이었다.
인페인팅 성능: 테스트된 Qwen-Image-Edit 모델은 단순 클라이언트 측 합성 방식보다 우수한 성능을 보이지 못했다. 코 성형 작업에서는 타겟 변화가 적은 거의 복사본에 가까운 출력을 생성하였고, 안면 거상 작업에서는 합성 방식보다 낮은 정체성 유지력을 보였다.
임상적 정확도: 어떤 에디터도 출력 임베딩을 수술 후 사진에 체계적으로 가깝게 이동시키지 못했다. 임베딩 공간에서의 중앙값 변화는 음수($-0.029$)였으며, 이는 정체성 임베딩 유사도 관점에서 편집이 관찰된 수술 결과로부터 오히려 약간 더 멀어졌음을 의미한다.

의의 및 주장
본 논문은 여러 상용 블랙박스 편집 API에 대해 클라이언트 측 영역 제한을 비교한 최초의 통제된 연구라고 주장한다. 주요 기여는 영역 제한이 모델 내부 구조에 대한 접근 없이도 완전히 클라이언트 측에서 강제될 수 있음을 입증한 것이다.

저자는 본 연구가 임상적 정확도가 아닌 제어에 관한 연구임을 명시적으로 밝힌다. 저자는 생성된 프리뷰가 해부학적으로 정확하거나, 임상적으로 타당하거나, 환자 상담에 안전하다고 주장하지 않는다. 어떤 의사도 출력을 평가하지 않았으며, 본 연구에는 인구통계학적 다양성 분석이 결여되어 있다. 본 연구의 의의는 단순한 사후 합성 전략(마스크, 정렬 및 블렌딩)이 다양한 블랙박스 모델에 대해 낮은 제공 비용(이미지당 중앙값 $0.045)으로 타겟 외 픽셀 변화를 효과적으로 방지할 수 있다는 점을 발견한 데 있다. 프롬프트 엔지니어링만으로는 얼굴 영역을 보호하는 데 실패한다. 저자는 이 방법이 블랙박스 API의 국소화 문제를 해결할 수는 있지만, 임상적 유용성을 검증하기 위해서는 향후 블라인드 의사 평가, 더 큰 코호트 및 해부학 인지 메트릭이 필요하다고 결론짓는다.

유사한 논문