ScaleEdit-12M: Scaling Open-Source Image Editing Data Generation via Multi-Agent Framework

Il paper presenta ScaleEdit-12M, il più grande dataset open-source per la modifica di immagini, generato tramite un framework multi-agente scalabile che supera i limiti dei metodi precedenti e dimostra miglioramenti significativi nelle prestazioni dei modelli multimodali.

L'essenziale

Immagina di voler insegnare a un artista digitale (un'intelligenza artificiale) come modificare le foto. Fino a poco tempo fa, per farlo, dovevi pagare cifre enormi a delle "scuole private" (i modelli commerciali chiusi come GPT-4o) per farti dare migliaia di esempi di "prima e dopo". Oppure, dovevi usare metodi vecchi e rigidi che producevano esempi brutti e ripetitivi.

Questo paper presenta una soluzione rivoluzionaria: ScaleEditor.

1. Il Problema: La cucina troppo costosa o troppo noiosa

Pensa alla creazione di dati per l'IA come alla preparazione di un enorme banchetto per un cuoco che deve imparare a cucinare.

• Il metodo vecchio (Costoso): Assumere uno chef stellato (modello commerciale) per scrivere 12 milioni di ricette. Funziona bene, ma costa una fortuna e non puoi espandere il menu all'infinito.
• Il metodo open-source precedente (Noioso): Usare un robot che segue una ricetta fissa: "Prendi una foto di un gatto, aggiungi un cappello". Il risultato è sempre lo stesso, noioso e spesso sbagliato (il cappello potrebbe essere incollato male).

2. La Soluzione: L'Orchestra di Robot (ScaleEditor)

Gli autori hanno creato ScaleEditor, che è come un'orchestra di robot specializzati che lavorano insieme per creare un banchetto di 12 milioni di piatti (foto modificate) diversi e perfetti, senza spendere un centesimo in licenze costose.

Ecco come funziona, diviso in tre atti:

Atto 1: Il Mercato delle Ingredienti (Espansione delle Immagini)

Prima di cucinare, servono ingredienti freschi e vari. Invece di usare solo le foto che si trovano nei musei pubblici (dataset vecchi), il sistema va a "cercare" immagini su tutto internet e ne crea di nuove usando l'immaginazione.

• L'analogia: È come se avessi un assistente che non si limita a guardare l'archivio, ma esce, prende spunto dal mondo reale, legge libri di storia e usa la sua fantasia per creare milioni di scenari nuovi: una spiaggia con un ombrellone, una chiesa di vetro, un treno a vapore.

Atto 2: Il Team di Chef Specializzati (Agenti Multi-Task)

Una volta avute le foto, non si usa un solo robot. Si attiva un Team di Chef.

• C'è uno chef esperto di testi (che sa come cambiare i cartelli stradali o i menu).
• C'è uno chef esperto di materiali (che sa trasformare il legno in vetro).
• C'è uno chef esperto di azioni (che sa far volare una palla da baseball o far sbattere le ali a un uccello).
• C'è uno chef logico (che capisce concetti complessi come "cambia la stagione in inverno").

Ogni foto viene inviata allo chef giusto. Se la foto è un edificio, lo chef dell'architettura la modifica. Se è un testo, lo chef del testo interviene. Questo rende le modifiche intelligenti e non casuali.

Atto 3: L'Ispezione Sanitaria (Verifica della Qualità)

Prima di servire il piatto, c'è un Ispettore Rigoroso (un altro robot molto intelligente).

• Controlla: "Il piatto corrisponde alla ricetta? (Seguimento istruzioni)".
• Controlla: "Il cibo è ancora riconoscibile o è diventato un mostro? (Coerenza)".
• Controlla: "Il piatto è bello da vedere o sembra fatto male? (Qualità)".
  Se il piatto non è perfetto, viene buttato via. Solo i piatti migliori finiscono nel menu finale.

3. Il Risultato: ScaleEdit-12M

Il risultato di questo processo è ScaleEdit-12M: un'enorme libreria di 12 milioni di esempi di foto modificate.

• È il più grande dataset mai creato con metodi aperti (gratis).
• Copre 23 tipi di modifiche diverse (dalla semplice rimozione di un oggetto alla trasformazione di un intero stile artistico).

4. Perché è importante? (La Magia)

Quando hanno preso due intelligenze artificiali esistenti (chiamate UniWorld-V1 e Bagel) e le hanno "addestrate" con questo nuovo menu di 12 milioni di esempi, è successo qualcosa di incredibile:

• Le loro prestazioni sono esplose. Su alcuni test, sono diventate fino al 150% più brave nel seguire istruzioni complesse.
• Hanno raggiunto livelli di qualità paragonabili a quelli dei sistemi commerciali costosi, ma usando solo strumenti gratuiti.

In sintesi

Immagina che prima dovessi pagare milioni di dollari per avere una scuola di cucina di alto livello. Ora, con ScaleEditor, hai costruito una scuola di cucina automatica, gestita da un'orchestra di robot, che produce 12 milioni di lezioni di alta qualità ogni giorno. Chiunque può usare questa scuola per addestrare i propri chef digitali, rendendo l'editing delle immagini accessibile, economico e potentissimo per tutti.

È come passare dal disegnare a mano ogni singolo pixel a avere un esercito di assistenti magici che capiscono esattamente cosa vuoi dire, lo fanno e controllano che sia perfetto, tutto gratis.

Sommario tecnico

1. Il Problema

L'editing di immagini basato su istruzioni è diventato una capacità fondamentale per i Modelli Multimodali Unificati (UMM). Tuttavia, la costruzione di dataset su larga scala, diversificati e di alta qualità presenta sfide significative:

• Dipendenze da API Proprietarie: I dataset esistenti di alta qualità spesso si basano su modelli commerciali chiusi (es. GPT-4o) per l'annotazione, rendendo la scalabilità economicamente proibitiva.
• Limitazioni dei Metodi Open-Source: Le pipeline sintetiche attuali basate su modelli open-source soffrono di:
  • Qualità e Generalizzazione Limitata: Utilizzano pipeline di editing fisse e rigide (es. mask-guided inpainting) che introducono artefatti e allineamento testo-immagine scarso.
  • Diversità Ridotta: Le immagini sorgente provengono da domini ristretti e le istruzioni sono generate tramite template predefiniti, limitando la ricchezza semantica.
  • Filtraggio Inadeguato: I filtri euristici semplici falliscono nel rilevare misallineamenti e artefatti su larga scala.

Il paper si pone la domanda: È possibile costruire dataset di editing di immagini su larga scala, diversificati e di alta qualità utilizzando esclusivamente toolkit agentici open-source e cost-effective?

2. Metodologia: ScaleEditor

Gli autori propongono ScaleEditor, un framework gerarchico multi-agente completamente open-source per la costruzione end-to-end di dataset di editing. Il processo si articola in tre fasi principali:

A. Espansione delle Immagini Sorgente (Source Image Expansion)

Per diversificare il pool di immagini oltre i dataset standard (COCO, OpenImages, SA-1B), il framework utilizza un flusso di lavoro potenziato dalla conoscenza del mondo:

• Ricerca basata su Web: Utilizza motori di ricerca per recuperare immagini semanticamente e stilisticamente correlate tramite query basate su immagini e testo, introducendo variazioni del mondo reale e concetti a coda lunga.
• Sintesi basata su Modelli: Utilizza modelli generativi (es. Qwen-Image) per creare varianti realistiche delle immagini sorgente, mantenendo la coerenza semantica ma modificando elementi specifici.
• Deduplicazione: Rimozione dei campioni quasi-duplicati tramite hash percettivi, risultando in un pool di oltre 10 milioni di immagini uniche.

B. Sintesi Adattiva Multi-Agente (Adaptive Multi-Agent Synthesis)

Questa è la fase centrale dove le istruzioni e le immagini modificate vengono generate:

• Task Router: Un agente intelligente (basato su Qwen2.5-VL-72B) analizza ogni immagine e decide quali dei 23 tipi di task di editing sono appropriati, utilizzando una strategia di rifiuto per escludere task non pertinenti.
• Agenti Specializzati:
  • Instruction Agents: 24 agenti dedicati generano istruzioni di editing specifiche per il task (es. aggiunta, rimozione, cambio colore, editing testuale).
  • Edit Agents: Modelli open-source all'avanguardia (es. Qwen-Image-Edit, FLUX.1 Kontext, Step1X-Edit) eseguono l'effettiva modifica dell'immagine.
• Workflow Specializzati:
  • Text-aware: Pipeline a tre stadi (OCR, generazione istruzioni, rendering del testo) per gestire la modifica di testi in poster o interfacce.
  • Knowledge-infused: Utilizza una strategia di "decoupling" delle istruzioni: un agente costruisce query complesse ricche di ragionamento, mentre un rewriter le distilla in comandi eseguibili, colmando il divario tra intenti umani complessi e capacità dei modelli.

C. Verifica della Qualità Consapevole del Task (Task-Aware Quality Verification)

Per garantire la qualità senza API costose, viene utilizzato un modulo di verifica basato su Qwen2.5-VL-72B:

• Valutazione Multidimensionale: Ogni coppia immagine-istruzione viene valutata su tre dimensioni:
  1. Instruction Following: L'immagine modificata segue fedelmente il prompt?
  2. Editing Consistency: Coerenza semantica e strutturale con l'immagine originale.
  3. Generation Quality: Fedeltà visiva, realismo e assenza di artefatti.
• Filtraggio Selettivo: Vengono mantenuti solo i campioni che ottengono un punteggio perfetto (3) nel seguire le istruzioni e almeno un punteggio medio (2) nelle altre due dimensioni.

3. Contributi Chiave

1. ScaleEditor: Un framework multi-agente open-source che integra espansione delle immagini, sintesi adattiva e verifica rigorosa per creare dataset di editing scalabili ed economici.
2. ScaleEdit-12M: Il più grande dataset di editing di immagini basato su istruzioni open-source disponibile, contenente 12 milioni di triplette (immagine, istruzione, immagine modificata). Copre 23 famiglie di task (da modifiche globali a locali, testuali e basate su ragionamento) su domini reali e sintetici.
3. Validazione delle Prestazioni: Dimostrazione che le pipeline agentiche open-source possono raggiungere una qualità dei dati paragonabile a quella delle API commerciali, superando i dataset open-source esistenti.

4. Risultati Sperimentali

Gli autori hanno fine-tunato due modelli UMM rappresentativi, UniWorld-V1 e Bagel, utilizzando ScaleEdit e li hanno confrontati con modelli addestrati su altri dataset (sia open-source che commerciali).

• Benchmark Generali (GEdit, ImgEdit):
  • UniWorld-V1 fine-tuned su ScaleEdit ha mostrato miglioramenti significativi: +10.4% su ImgEdit e +35.1% su GEdit rispetto alla baseline.
  • I modelli addestrati su ScaleEdit hanno superato costantemente quelli addestrati su dataset open-source come OmniEdit, AnyEdit e UltraEdit, e hanno raggiunto o superato le prestazioni di dataset generati da modelli commerciali (es. GPT-4o-Image).
• Benchmark Basati su Conoscenza (RISE, KRIS-Bench):
  • I miglioramenti sono stati drammatici per i task che richiedono ragionamento e conoscenza del mondo.
  • Su RISE, UniWorld-V1 ha migliorato le prestazioni del 150.0%.
  • Su KRIS-Bench, i guadagni sono stati del 26.5% per Bagel e 12.6% per UniWorld-V1.
• Studi di Ablazione:
  • L'uso del Task Router e del Data Filtering ha confermato che la selezione adattiva dei task e il controllo qualità sono cruciali per le prestazioni.
  • Il Rewriting delle istruzioni ha migliorato significativamente le capacità di ragionamento (es. +43% su RISEBench per UniWorld-V1).
  • La verifica della qualità tramite Qwen2.5-VL-72B è stata validata come altamente affidabile rispetto a GPT-4o e al giudizio umano.

5. Significato e Impatto

Il lavoro dimostra che è possibile scalare la generazione di dati di alta qualità per l'editing di immagini senza dipendere da costose API proprietarie.

• Democratizzazione: Rende accessibile a tutta la comunità di ricerca la creazione di dataset di livello industriale, riducendo i costi e le barriere all'ingresso.
• Qualità vs. Scalabilità: Sfata il mito che solo i modelli commerciali possano generare dati di alta qualità, mostrando che un'architettura multi-agente ben progettata può competere con le soluzioni closed-source.
• Futuro dell'Editing: Fornisce una base solida per lo sviluppo di UMM più capaci, in grado di comprendere istruzioni complesse, ragionamento logico e manipolazioni visive sottili, spingendo l'editing di immagini verso strumenti di produzione reale.

Il framework ScaleEditor e il dataset ScaleEdit-12M sono stati resi open-source, permettendo alla comunità di costruire su queste basi per futuri avanzamenti nell'editing visivo.