Banana100: Breaking NR-IQA Metrics by 100 Iterative Image Replications with Nano Banana Pro

논문 요약: Banana100 - 다중 턴 이미지 편집에서의 점진적 열화와 평가 지표의 실패

1. 문제 제기 (Problem)

최근 멀티모달 에이전트 시스템 (생성 모델과 평가자로 구성) 의 등장으로 디지털 콘텐츠 제작 방식이 혁신적으로 변화했습니다. 특히 텍스트 - 이미지 - 이미지 (IT2T) 모델은 단일 턴 (one-turn) 편집에서는 높은 품질을 보여주지만, 다중 턴 (multi-turn) 또는 반복적인 편집 과정에서 치명적인 약점을 드러냅니다.

• 반복적 열화 (Iterative Degradation): 이미지를 반복적으로 편집할 때, 생성 모델은 매 단계마다 미세한 아티팩트 (노이즈, 색상 왜곡 등) 를 도입합니다. 이러한 아티팩트가 누적되면 시각적으로 명백한 품질 저하 (정적 노이즈, 녹색 색조, 산점 등) 로 이어집니다.
• 지시 따르기 실패: 5~10 단계 정도의 반복 편집 후, 모델은 간단한 편집 지시 (예: "테이블에 사과 추가") 도 제대로 수행하지 못하게 됩니다.
• 평가 지표의 실패 (Evaluator Failure): 현재 널리 사용되는 무참조 이미지 품질 평가 (NR-IQA) 지표들 (예: BRISQUE, NIQE 등) 이 이러한 열화를 감지하지 못하거나, 오히려 품질이 나빠진 이미지에 더 높은 점수 (더 좋은 품질) 를 부여하는 역설적인 현상이 발생합니다. 이는 AI 가 생성한 저품질 데이터가 필터링되지 않고 학습 데이터로 유입되어 모델 붕괴 (Model Collapse) 를 가속화할 수 있는 심각한 위험을 내포합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 체계적으로 연구하기 위해 Banana100이라는 대규모 데이터셋과 새로운 평가 프로토콜을 제안했습니다.

• Banana100 데이터셋 구축:

  • 모델: 주로 'Nano Banana Pro' 모델을 사용했으며, Nano Banana 2, FLUX.2, Qwen Image Edit 등 다른 모델로도 검증했습니다.
  • 프로세스: 13 가지 다양한 초기 이미지 (고해상도, AI 생성 기반, 다양한 질감 및 주제) 를 선정했습니다. 각 이미지에 대해 "원본과 동일한 복제 (Replication)" 또는 "객체 추가" 등의 지시를 100 단계에 걸쳐 반복적으로 수행했습니다.
  • 규모: 총 28,000 개의 열화된 이미지를 생성했으며, 약 4,000 달러의 비용이 소요되었습니다.
  • 초기 이미지: 고해상도, 저작권 문제 없음, AI 생성 기반, 다양한 질감 (건물, 음식, 자연, 애니메이션 등) 을 포함하되, 인간의 얼굴은 제외하여 시각적 불쾌감을 최소화했습니다.

• 실험 설계:

  • 반복 편집: "이미지를 그대로 복제하라"는 지시를 통해 콘텐츠 변화 없이 순수한 노이즈 누적 효과를 관찰했습니다.
  • 다양한 변형: 프롬프트 문구 변경, 다단계 복원 (미러링, 회전), 하이퍼파라미터 (Seed, Temperature, Resolution) 변경, 단일 세션 vs 다중 세션 실행 등을 통해 열화 패턴의 보편성을 검증했습니다.
  • NR-IQA 평가: 21 가지 인기 있는 무참조 이미지 품질 평가 지표 (BRISQUE, MUSIQ, CLIPIQA 등) 를 사용하여 각 단계별 이미지 품질 점수를 측정하고, 초기 이미지와의 점수 차이를 분석했습니다.

3. 주요 기여 (Key Contributions)

1. Banana100 대규모 데이터셋: 100 단계의 반복 편집을 통해 생성된 28,000 개의 열화 이미지 데이터셋을 공개했습니다. 이는 기존 IQA 데이터셋과 비교 가능한 규모이며, 다양한 질감과 콘텐츠 유형을 포함합니다.
2. 실패 모드 분류 체계 (Taxonomy): 반복 편집에서 발생하는 실패를 체계적으로 분류했습니다.
   • 하위 객체 수준 (Sub-object): 눈동자 색상 단순화, 세부 질감 손실.
   • 객체 수준 (Object): 객체 추가 실패 (개수 세기 실패), 기존 객체 교체, 배경 노이즈와 대비되는 새로 추가된 객체의 품질 유지.
   • 이미지 수준 (Image): 가로세로 비율 (Aspect Ratio) 변경, 지속적인 노이즈/색조 왜곡, 미러링/회전 실패.
3. NR-IQA 지표의 결함 규명: 기존 21 가지 NR-IQA 지표 중 19 가지가 열화된 이미지에 대해 오히려 더 좋은 점수를 부여하거나 일관된 감지 실패를 보임을 정량적으로 증명했습니다. 이는 기존 지표가 휴리스틱 왜곡 (블러, 노이즈 등) 으로 훈련되어 AI 모델 특유의 노이즈 패턴을 제대로 평가하지 못함을 시사합니다.

4. 실험 결과 (Results)

• 시각적 열화: 5~10 단계 이후부터는 명백한 노이즈, 녹색 색조, 산점 (scatter points) 이 발생하며, 20 단계 이후에는 원본 이미지의 내용이 심각하게 손상됩니다.
• 지시 따르기 실패: "사과 추가"와 같은 간단한 작업에서도 7~8 단계 이후부터 사과 개수를 잘못 세거나, 사과 대신 다른 과일을 추가하거나, 기존 과일을 교체하는 오류가 발생합니다.
• 평가 지표의 역설:
  • BRISQUE의 경우, 깨끗한 초기 이미지 (점수 34.1) 가 20 단계 반복 후 심한 노이즈가 낀 이미지 (점수 -9.8) 보다 훨씬 낮은 (나쁜) 점수를 받았습니다. 즉, 품질이 나빠질수록 점수가 좋아지는 (Lower is Better 인 지표의 경우 점수가 낮아지는 것이 좋은데, 여기서는 오히려 더 낮아져서 '더 좋은 품질'로 오인됨) 역설이 발생했습니다.
  • 21 가지 기존 지표 중 RALI와 VisualQuality-R1 (대형 비전 - 언어 모델 기반) 만 유일하게 일관되게 열화를 감지했습니다.
• 모델의 자기 평가 실패: Nano Banana Pro 는 생성 과정에서 "이미지가 노이즈가 없다"는 식의 확신에 찬 자기 평가를 수행하지만, 실제로는 노이즈가 누적되고 있음을 인지하지 못합니다 (노이즈 감지 지연).
• 다른 모델에서도 동일: Nano Banana Pro 외에도 FLUX.2, Qwen Image Edit 등 다른 모델에서도 유사한 노이즈 누적 현상이 발생했으나, 노이즈의 패턴 (주름, 산점, 텍스처 단순화 등) 은 모델마다 달랐습니다.

5. 의의 및 결론 (Significance)

• 에이전트 시스템의 취약성 경고: 생성 모델과 평가 모델로 구성된 자율 에이전트 시스템이 장기적인 작업 (Multi-turn) 을 수행할 때, 품질 저하가 감지되지 않은 채 누적되어 시스템 전체의 안정성을 위협할 수 있음을 경고합니다.
• 데이터 오염 및 모델 붕괴 방지: 저품질의 AI 생성 이미지가 필터링되지 않고 차세대 모델의 학습 데이터로 유입될 경우, 모델 붕괴 (Model Collapse) 가 가속화될 수 있습니다. Banana100 은 이러한 문제를 방지하고 더 강력한 필터링 및 평가 지표를 개발하는 데 필수적인 벤치마크를 제공합니다.
• 향후 연구 방향: 기존 NR-IQA 지표의 한계를 극복하고, AI 모델 특유의 노이즈 패턴을 정확히 평가할 수 있는 새로운 메트릭 개발과, 반복 편집에서도 품질을 유지할 수 있는 견고한 (Robust) 이미지 편집 모델의 필요성을 강조합니다.

이 논문은 AI 생성 콘텐츠의 장기적인 신뢰성과 안전성을 확보하기 위해, 단순한 생성 능력뿐만 아니라 반복 작업에서의 품질 유지와 이를 평가하는 지표의 정확성이 얼마나 중요한지를 드러낸 중요한 연구입니다.