🤖 AI

MULTITEXTEDIT: Benchmarking Cross-Lingual Degradation in Text-in-Image Editing

본 논문은 12 개 언어에 걸친 통제된 벤치마크인 MULTITEXTEDIT 과 새로운 언어 충실도 지표를 도입하여, 전역 시각적 구조를 유지함에도 불구하고 비로마자 언어의 스크립트 정확도에서 특히 심각한 교차 언어적 저하를 겪고 있음을 현재 텍스트-이미지 편집 시스템이 보여준다는 것을 입증한다.

원저자: Liwei Cheng, Zirui Song, Shibo Feng, Lunjie Zhou, Yixuan Guan, Dayan Guan

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liwei Cheng, Zirui Song, Shibo Feng, Lunjie Zhou, Yixuan Guan, Dayan Guan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

포스터에 "SALE"이라는 단어가 적힌 디지털 사진을 가지고 있다고 상상해 보세요. 배경, 색상, 또는 텍스트 뒤에 있는 셔츠의 이미지를 망치지 않고 AI 도구를 사용해 그 단어를 "SOLD"로 변경하고 싶다고 가정해 봅시다. 이를 '이미지 내 텍스트 편집 (text-in-image editing)'이라고 합니다.

이러한 AI 도구들이 영어로 이러한 작업을 수행하는 데는 매우 능숙해지고 있지만, 논문 MULTITEXTEDIT은 단순하지만 결정적인 질문을 던집니다: 다른 언어로 같은 작업을 AI 에게 요청하면 어떻게 될까요?

다음은 일상적인 비유를 통해 설명한 그들의 연구 결과 요약입니다:

1. 문제: "영어 전용" 맹점

현재의 AI 이미지 편집기를 이탈리아 요리는 대가지만 태국, 아랍, 일본 요리는 한 번도 해본 적이 없는 요리사로 생각해보세요. 만약 그에게 태국 요리의 재료를 바꿔달라고 요청한다면, 접시와 테이블 세팅은 완벽하게 유지할지 몰라도 잘못된 향신료를 내거나 요리 이름을 완전히 잘못 부를 수 있습니다.

저자들은 이러한 AI 도구에 대한 기존 테스트가 거의 전적으로 영어로 이루어져 있음을 발견했습니다. 그들은 AI 가 그림이 '잘 보이는지 (시각적 타당성)'에 따라 판단하는 경우가 많으며, 실제로 단어가 의미 있는지 (의미론적 정확성) 는 무시합니다. 이는 모든 단어를 철자 실수로 썼더라도 학생이 문장을 얼마나 깔끔하게 썼는지로 점수를 매기는 것과 같습니다.

2. 해결책: 새로운 "언어 체육관" (벤치마크)

이를 해결하기 위해 연구자들은 MULTITEXTEDIT이라는 방대한 훈련 및 테스트 장소를 구축했습니다.

설정: 그들은 300 개의 기본 이미지 (빈 포스터와 같은) 를 가져와 각각 12 개의 버전을 만들었습니다. 이는 영어, 스페인어, 아랍어, 히브리어, 중국어, 그리고 요루바어와 벵골어 같은 덜 흔한 언어를 포함한 12 개 언어용입니다.
통제: 모든 버전이 정확히 동일한 이미지에서 시작했기 때문에 언어 변수를 분리할 수 있었습니다. 이는 도로나 날씨를 바꾸지 않고 연료 종류만 바꾸어 자동차 엔진을 테스트하는 것과 같습니다.
규모: 이로써 글꼴 크기, 색상 변경 또는 단어 교체와 같은 7 가지 유형의 편집을 다루는 3,600 개의 구체적인 테스트 사례가 생성되었습니다.

3. 새로운 자: "스크립트 충실도" 측정

연구자들은 픽셀 수를 단순히 세는 표준 컴퓨터 테스트가 언어 오류를 찾아내는 데 매우 부적합하다는 것을 깨달았습니다.

비유: 컴퓨터가 손으로 쓴 메모를 확인한다고 상상해 보세요. 만약 당신이 "Mother"라고 썼지만 "e" 위의 악센트 부호를 빼먹어 "me"(베트남어에서 '타마린드'를 의미) 가 되었다면, 픽셀을 세는 로봇은 "이거 99% 동일해 보이네!"라고 말할지도 모릅니다. 하지만 인간은 의미가 완전히 변했다는 것을 압니다.
해결책: 그들은 **언어 충실도 (Language Fidelity, LSF)**라는 새로운 지표를 만들었습니다. 그들은 변경된 특정 단어만 살펴보는 똑똑한 AI 심사를 도입하여, 누락된 악센트 부호, 아랍어나 히브리어에서 흔히 발생하는 글자 반전, 또는 섞인 스크립트와 같은 미세한 세부 사항을 점검했습니다. 이 심사는 인간이 중요하게 여기지만 기계가 종종 놓치는 이러한 '오타'를 찾아내도록 훈련되었습니다.

4. 결과: "전체 레이아웃" 함정

이 새로운 벤치마크에서 12 가지 다른 AI 시스템 (무료 및 유료 모두) 을 테스트했을 때, 그들은 일관된 패턴을 발견했습니다:

"좋은 소식": AI 는 배경이 잘 보이게 유지하는 데 뛰어납니다. 해변 사진의 텍스트를 변경하라고 요청하면 모래와 바다는 완벽하게 유지됩니다.
"나쁜 소식": AI 는 실제 단어, 특히 영어가 아닌 언어에서는 크게 어려움을 겪습니다.
- "레이아웃 vs 의미" 불일치: AI 는 종종 텍스트 상자의 모양과 글꼴 스타일을 완벽하게 유지하지만, 글자 자체는 의미 없는 글자, 거꾸로 된 글자, 또는 중요한 부호가 누락된 글자가 됩니다.
- 가장 어려운 언어: AI 는 오른쪽에서 왼쪽으로 읽는 히브리어와 아랍어, 그리고 복잡한 악센트 부호를 가진 언어에서 가장 많이 실수했습니다.
- 가장 쉬운 언어: 영어와 더 가까운 네덜란드어와 스페인어에서 가장 잘 수행했습니다.

5. 결론

이 논문은 AI 이미지 편집기가 "그리기"에는 점점 더 나아지고 있지만, 영어가 아닌 다른 언어로 "쓰기"에는 여전히 어려움을 겪고 있다고 결론지었습니다. 그들은 외국 간판의 '모습'은 완벽하게 복제할 수 있지만, 실제 '단어'를 올바르게 만드는 데는 종종 실패합니다.

저자들은 전 세계를 위해 진정으로 유용한 도구를 구축하기 위해서는 AI 를 영어로만 테스트하는 것을 멈추고, 글자의 방향부터 그 위의 작은 점에 이르기까지 모든 문자 체계의 고유한 특징을 얼마나 잘 처리하는지 측정하기 시작해야 한다고 주장합니다.

기술 요약: MULTITEXTEDIT

문제 제기

이미지 내 텍스트 편집은 시각적 콘텐츠 제작을 위한 핵심 능력으로 부상했으나, 현재 평가 기준은 두 가지 주요 한계를 겪고 있습니다. 첫째, 기존 벤치마크는 압도적으로 영어 중심이며, 글로벌 콘텐츠 제작의 다국어 현실을 반영하지 못합니다. 둘째, 현재 평가 프로토콜은 시각적 타당성과 의미적 정확성을 혼동하는 경향이 있습니다. 모델 출력은 배경과 시각적으로 일관되게 보일지라도 잘못된 단어를 렌더링하거나, 지시를 따르지 못하거나, 특정 문자 체계의 문자를 왜곡할 수 있습니다 (예: 발음 부호 누락 또는 텍스트 방향 반전). 결과적으로, 최첨단 멀티모달 모델이 다양한 언어와 문자 체계에서 어떻게 저하되는지를 측정하는 통제된 방법이 부족합니다.

방법론

벤치마크 구축 (MULTITEXTEDIT)

저자들은 언어를 이미지 내 텍스트 편집의 주요 변수로 격리하도록 설계된 통제된 벤치마크인 MULTITEXTEDIT를 소개합니다.

데이터셋 규모: 이 벤치마크는 300 개의 기본 이미지에서 파생된 3,600 개의 인스턴스로 구성됩니다.
다국어 확장: 각 기본 이미지는 아랍어, 벵골어, 중국어, 네덜란드어, 영어, 히브리어, 일본어, 한국어, 러시아어, 스페인어, 베트남어, 요루바어 등 12 가지 유형학적으로 다양한 언어로 확장됩니다.
통제 변수: 모든 언어 변형에서 동일한 시각적 기반, 편집 의도, 그리고 지시 템플릿을 공유함으로써, 벤치마크는 성능 차이가 시각적 변이와 같은 혼란 요인이 아닌 대상 문자와 언어에 기인함을 보장합니다.
범위: 데이터셋은 5 가지 시각적 도메인 (예술, 이벤트, 패션, 음식, 명언) 과 7 가지 편집 작업 (대체, 삭제, 삽입, 색상, 폰트, 재배치, 크기 조절) 을 다룹니다.
정답 (Ground Truth): 각 인스턴스는 원어민이 관여하는 3 단계 인간 주석 프로토콜을 통해 검증된 원본 및 대상 텍스트 영역에 대한 정밀한 영역 마스크와 함께 인간이 편집한 참조 이미지를 포함합니다.

평가 프레임워크

이 논문은 단일 지표 접근법의 한계를 해결하기 위해 이중 트랙 평가 프레임워크를 제안합니다:

의미 트랙 (LVM 판정자):
- 지시 준수 (IF), 텍스트 정확도 (TA), 시각적 일관성 (VC), 레이아웃 보존 (LP), 그리고 언어/문자 충실도 (LSF) 등 5 가지 차원을 0~5 점 척도로 점수화하기 위해 대규모 비전 - 언어 모델 (LVM) 을 활용합니다.
- LSF 지표: 거친 텍스트 매칭이 놓치는 문자 체계 수준의 오류 (예: 베트남어의 발음 부호 누락, 아랍어/히브리어의 오른쪽에서 왼쪽으로의 순서 반전, 또는 혼합된 문자 체계) 를 감지하도록 설계된 새로운 지표입니다.
- 2 단계 프로토콜: 정확성을 보장하기 위해 LVM 은 먼저 원본, 참조, 그리고 모델 출력을 비교하여 편집된 대상 텍스트 세그먼트를 추적합니다. 그런 다음 다른 이미지 콘텐츠를 무시하고 추적된 텍스트에만 기반하여 LSF 를 점수화합니다.
- 검증: LVM 판정자는 원어민 주석가 대비 2 차 가중 코헨의 $\kappa$ 가 0.76 으로, 그 신뢰성을 입증했습니다.
픽셀 트랙:
- 배경 충실도를 정량화하기 위해 표준 지표 (MSE, PSNR, SSIM, LPIPS) 를 사용합니다.
- 편집되지 않은 영역을 격리하기 위해 이중 마스크 설계 (원본 및 대상 마스크의 합집합, 팽창 처리) 를 사용하여, 픽셀 수준 점수가 편집된 텍스트가 아닌 원본 이미지 콘텐츠의 보존을 반영하도록 보장합니다.

주요 결과

저자들은 이 벤치마크에서 12 개의 오픈소스 및 독점 시스템 (Step1X-Edit, Qwen-Image-Edit, GPT-image-1.5, Nano Banana 2 포함) 을 평가했습니다.

초언어적 저하: 평가된 모든 모델은 영어에서 비영어권 언어로 이동할 때 뚜렷한 성능 저하를 보였습니다.
- 심각도: 저하는 히브리어 ( $\Delta$ Sem = 0.856) 와 아랍어 ( $\Delta$ Sem = 0.780) 에서 가장 심각했으며, 네덜란드어 ( $\Delta$ Sem = 0.181) 와 스페인어 ( $\Delta$ Sem = 0.184) 에서 가장 덜 심각했습니다.
- 오류 집중: 성능 하락은 텍스트 정확도 ( $\Delta$ TA = 0.630) 와 언어/문자 충실도 ( $\Delta$ LSF = 0.881) 에 집중되었습니다. 반면, 모델은 레이아웃 보존 ( $\Delta$ LP = 0.180) 과 시각적 일관성과 같은 거친 구조적 차원에서는 상대적으로 높은 성능을 유지했습니다.
의미 - 픽셀 불일치: 모델이 글로벌 레이아웃과 배경 충실도 (높은 픽셀 점수) 는 유지하면서 언어적으로 정확하거나 문자에 충실한 텍스트를 생성하지 못하는 (낮은 의미 점수) 현상이 반복적으로 관찰되었습니다.
모델 성능: Nano Banana 2는 의미 점수와 픽셀 지표 모두에서 가장 강력한 전반적 성능을 달성하여 최상위 모델들 사이에서 영어에서 비영어권 언어로의 격차를 가장 작게 유지하며 가장 높은 순위를 차지했습니다. 오픈소스 모델 중에서는 Qwen-Image-Edit-2511과 FireRed-Image-Edit-1.1이 가장 강력한 의미 성능을 보였습니다.

중요성과 주장

이 논문은 MULTITEXTEDIT 가 이미지 내 텍스트 편집에서 다국어 저하를 체계적으로 분석할 수 있는 최초의 통제된 메커니즘을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

언어 변수 격리: 시각적 맥락을 통제함으로써, 성능 하락을 시각적 모호성이 아닌 문자와 언어 복잡성에 특정하여 귀속시킵니다.
숨겨진 실패 모드 발견: LSF 지표는 표준 OCR 이나 픽셀 지표가 감지하지 못하는 중요한 오류 (예: 발음 부호 손실, 방향성 반전) 를 드러냅니다.
의미 - 픽셀 간격 강조: 결과는 비로마자 문자 체계와 발음 부호에 민감한 언어의 경우 높은 시각적 품질이 의미적 정확성을 보장하지 않음을 보여줍니다.

저자들은 이 분야의 진보가 향상된 생성 품질뿐만 아니라 문자별 과제를 고려한 언어 인식 모델링 및 평가 전략을 필요로 한다고 결론지었습니다. 그들은 MULTITEXTEDIT 를 더 견고하고 공정한 이미지 내 텍스트 편집 시스템을 개발하기 위한 필수적인 테스트베드로 위치시킵니다.