🤖 AI

InstructMoLE: Instruction-Guided Mixture of Low-rank Experts for Multi-Conditional Image Generation

InstructMoLE introduce un framework di miscela di esperti a basso rango guidato da istruzioni che sostituisce il routing a livello di token con un segnale globale derivato dalle istruzioni per risolvere l'interferenza tra compiti e la frammentazione spaziale nella generazione di immagini multi-condizionale, ottenendo così un controllo compositivo e una fedeltà semantica superiori rispetto ai metodi esistenti.

Autori originali: Jinqi Xiao, Qing Yan, Liming Jiang, Zichuan Liu, Hao Kang, Shen Sang, Tiancheng Zhi, Jing Liu, Cheng Yang, Xin Lu, Bo Yuan

Pubblicato 2026-05-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jinqi Xiao, Qing Yan, Liming Jiang, Zichuan Liu, Hao Kang, Shen Sang, Tiancheng Zhi, Jing Liu, Cheng Yang, Xin Lu, Bo Yuan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un artista super-intelligente (un'IA) che può disegnare qualsiasi cosa tu descriva. Ma a volte, quando dai a questo artista un'istruzione complessa come: "Disegna un bambino che gattona sull'erba, un cavallo bianco che pascola nelle vicinanze e un casco da football", l'artista si confonde.

Se l'artista cerca di decidere cosa disegnare per ogni singolo pixel dell'immagine in modo indipendente (pixel per pixel), potrebbe disegnare correttamente la testa del bambino ma dare al corpo una zampa di cavallo, o far galleggiare il casco nel posto sbagliato. Il risultato è un'immagine disordinata e frammentata, in cui le diverse parti non si adattano logicamente tra loro.

Questo articolo introduce un nuovo modo per insegnare a questo artista, chiamato InstructMoLE. Ecco come funziona, utilizzando semplici analogie:

1. Il Problema: La Confusione "Pixel per Pixel"

I metodi tradizionali (come LoRA) sono come dare un'istruzione diversa a ogni singolo pixel dell'immagine.

L'Analogia: Immagina un coro in cui ogni cantante legge una partitura diversa. Un cantante pensa di cantare di un cavallo, il successivo pensa di cantare di un casco. Il risultato è rumore, non una canzone.
Il Problema: Nella generazione di immagini, questo causa "frammentazione spaziale". Il bambino potrebbe sembrare un cavallo, o il casco potrebbe trovarsi all'interno dell'erba. L'artista perde la "visione d'insieme" della tua richiesta.

2. La Soluzione: Il "Consiglio di Esperti"

Gli autori propongono un sistema chiamato Mixture of Low-rank Experts (MoLE).

L'Analogia: Invece di un artista generalista, immagina una squadra di 8 esperti specializzati.
- L'Esperto A è bravo a disegnare animali.
- L'Esperto B è bravo a disegnare vestiti.
- L'Esperto C è bravo con l'illuminazione e le ombre.
Il Vecchio Modo: Il vecchio sistema chiedeva a ogni singolo pixel di scegliere il proprio esperto. Il pixel dell'erba potrebbe scegliere "Esperto A", mentre il pixel del cavallo sceglie "Esperto B", portando a un mix caotico.
Il Modo InstructMoLE: Il sistema guarda prima la tua intera istruzione. Dice: "Ok, questa richiesta riguarda una scena con animali e oggetti. Ho bisogno che l'intera squadra si accordi su un piano".

3. L'Ingrediente Segreto: "Instruzione-Guided Routing" (IGR)

Questa è l'innovazione centrale. Invece di lasciare che i pixel scelgano gli esperti, il sistema legge la tua frase completa e sceglie un unico "Consiglio di Esperti" per l'intero strato dell'immagine.

L'Analogia: Pensa a un regista cinematografico. Prima di girare una scena, il regista riunisce il cast e la troupe e dice: "Oggi giriamo una scena con un bambino e un cavallo. Tutti, concentratevi su questo stile e su questa relazione specifici".
Come aiuta: Il regista (il sistema di routing) assicura che ogni parte dell'immagine segua lo stesso piano. Il bambino rimane un bambino, il cavallo rimane un cavallo, e mantengono la giusta relazione reciproca. Questo previene l'aspetto "frammentato".

4. Mantenere la Squadra Diversa: La "Orthogonality Loss"

C'è il rischio che, se hai una squadra di esperti, tutti inizino a fare esattamente la stessa cosa (ad esempio, tutti e 8 gli esperti imparano solo a disegnare cavalli). Questo è chiamato "collasso degli esperti".

L'Analogia: Immagina una squadra sportiva in cui il portiere, l'attaccante e il difensore decidono tutti di stare semplicemente dentro la porta. La squadra fallisce perché nessuno sta svolgendo il proprio lavoro specifico.
La Soluzione: Gli autori hanno aggiunto una regola speciale (una penalità matematica) che costringe gli esperti a essere diversi tra loro. È come un allenatore che dice: "Tu, devi essere il portiere. Tu, devi essere l'attaccante. Non puoi fare lo stesso lavoro del tuo compagno di squadra".
Risultato: Questo assicura che quando il sistema sceglie un "Consiglio", ottenga un gruppo di esperti che portano effettivamente competenze diverse al tavolo, rendendo l'immagine finale molto più ricca e accurata.

La Conclusione

L'articolo afferma che utilizzando questo approccio di "Regista Globale" (Instruction-Guided Routing) e costringendo la "Squadra Specializzata" a rimanere diversificata, l'IA può seguire istruzioni complesse molto meglio di prima.

Prima: L'IA potrebbe disegnare un bambino con la testa di un cavallo o mettere un casco sul personaggio sbagliato perché pensava in modo troppo locale.
Ora: L'IA comprende l'intera storia che le hai raccontato e applica quella storia coerentemente in tutta l'immagine, producendo immagini coerenti e di alta qualità che corrispondono esattamente alla tua intenzione.

Gli autori hanno testato questo metodo su un potente modello di IA (Flux.1) e hanno scoperto che funziona significativamente meglio nel gestire più soggetti, nel cambiare stili e nel seguire istruzioni spaziali complesse rispetto ai metodi precedenti.

Riepilogo Tecnico: InstructMoLE

Enunciato del Problema

Il Fine-Tuning Efficiente in Parametri (PEFT) dei Diffusion Transformers (DiT) per la generazione di immagini multi-condizionale (ad esempio, composizione multi-soggetto, modifica di immagini) affronta sfide significative quando si utilizzano adattatori monolitici come LoRA, principalmente a causa dell'interferenza tra compiti e dell'oblio catastrofico. Sebbene le architetture Mixture-of-Experts (MoE) offrano una soluzione modulare diversificando gli esperti per compiti diversi, la loro applicazione ai modelli di diffusione è stata limitata dalle politiche di instradamento ereditate dai modelli linguistici.

Gli approcci attuali impiegano tipicamente un instradamento a livello di token, in cui ogni patch dell'immagine seleziona indipendentemente un esperto in base agli stati nascosti locali. Il documento sostiene che questo processo decisionale locale è fondamentalmente disallineato con la natura globale delle istruzioni dell'utente. In compiti di generazione complessi (ad esempio, "un bambino che striscia sull'erba, un cavallo bianco nelle vicinanze e un casco da football"), le istruzioni stabiliscono relazioni semantiche globali. L'instradamento a livello di token non riesce a mantenere queste relazioni, portando a:

Frammentazione Spaziale: Discontinuità regionali nello stile e nella tonalità.
Jitter di Instradamento: Amplificazione del rumore ad alta frequenza.
Deriva Semantica: Incapacità di aderire all'intento olistico dell'istruzione, risultando in soggetti incoerenti o attributi ignorati.

Metodologia

Gli autori propongono InstructMoLE, un framework che sostituisce l'instradamento a livello di token con una politica globalmente coerente e guidata dall'istruzione. L'architettura si basa sul backbone Flux.1 Kontext e utilizza esperti Low-Rank Adaptation (LoRA).

1. Instradamento Guidato dall'Istruzione (IGR)

Invece di selezionare esperti per token, InstructMoLE impiega una politica di instradamento a livello di istanza.

Distillazione del Segnale Globale ( $Z_{global}$ ): Un segnale di instradamento globale viene distillato dall'istruzione testuale dell'utente ( $I_c$ $I_{c}$ ). Questo segnale fonde due rappresentazioni:
- Embedding CLIP: Fornisce un ancoraggio semantico olistico e robusto.
- Distillazione in Stile Perceiver: Una query latente apprendibile che si attiene iterativamente alle caratteristiche a livello di token provenienti da un encoder T5. Questo cattura dettagli compositivi fini (ad esempio, associazioni specifiche colore-soggetto) che un semplice embedding CLIP aggregato potrebbe mediare.
Consiglio Unificato degli Esperti: A ogni livello del modello, il router calcola un singolo insieme di pesi di gating basato su $Z_{global}$ . Questo "consiglio degli esperti" (un insieme Top- $k$ di esperti) viene poi trasmetto identicamente a tutti i token spaziali all'interno di quel livello. Ciò garantisce che l'intero processo di generazione dell'immagine a un livello specifico di astrazione sia governato da un insieme coerente di esperti allineati all'intento dell'utente.

2. Funzione di Perdita di Ortogonalità nello Spazio di Output

Per prevenire il collasso degli esperti (dove esperti distinti apprendono funzioni ridondanti), gli autori introducono un regolarizzatore innovativo.

Le perdite standard di bilanciamento del carico garantiscono solo un'utilizzazione uniforme della frequenza, ma non assicurano la diversità funzionale.
La Perdita di Ortogonalità ( $L_{ortho}$ ) opera sugli output pre-gating di tutti gli esperti. Calcola la similarità del coseno al quadrato tra i vettori di output appiattiti di ogni coppia di esperti.
Minimizzando questa perdita, il modello è costretto ad apprendere ruoli funzionali mutualmente ortogonali per ogni esperto, garantendo che il consiglio selezionato offra un insieme diversificato di capacità piuttosto che soluzioni ridondanti.

3. Obiettivi di Addestramento

La funzione di perdita totale combina tre componenti:
$L_{total} = L_{flow} + \lambda_{aux}L_{aux} + \lambda_{ortho}L_{ortho}$

$L_{flow}$ : Perdita standard di flow-matching/diffusione per l'accuratezza della generazione.
$L_{aux}$ : Perdita ausiliaria di bilanciamento del carico per prevenire un'eccessiva dipendenza da pochi esperti.
$L_{ortho}$ : La perdita di ortogonalità proposta per la diversità funzionale.

Contributi Chiave

Identificazione del Disallineamento di Instradamento: Il documento identifica la discrepanza critica tra l'instradamento locale a livello di token e la semantica globale delle istruzioni nella generazione di immagini multi-condizionale.
Instradamento Guidato dall'Istruzione (IGR): Un framework innovativo che condiziona la selezione degli esperti interamente su un segnale globale derivato dall'istruzione dell'utente, garantendo coerenza strutturale e semantica in tutta l'immagine.
Regolarizzazione di Ortogonalità: Una nuova funzione di perdita che promuove esplicitamente la diversità funzionale tra gli esperti, mitigando il collasso rappresentativo in modo più efficace del solo bilanciamento del carico.
Validazione Empirica: Esperimenti estesi che dimostrano come InstructMoLE superi gli adattatori LoRA esistenti e le varianti MoE (inclusi i baseline di instradamento a livello di token) su benchmark multi-condizionali impegnativi.

Risultati Sperimentali

Il modello è stato fine-tunato sul backbone Flux.1 Kontext utilizzando un dataset diversificato di dati sintetizzati e pubblici (inclusi face swapping, trasferimento di stile, composizione multi-soggetto e controllo spaziale).

Generazione Multi-Soggetto (XVerseBench): InstructMoLE ha ottenuto il punteggio medio più alto (71,07), superando il forte baseline Flux.1 Kontext (68,04) e DreamO-v1.1 (69,57). Ha mostrato una forza particolare nella preservazione dell'identità (ID-Sim) e nella fedeltà dell'oggetto (IP-Sim).
Modifica di Immagine Singola (GEdit-EN-full): Il metodo ha ottenuto il punteggio medio più alto (6,17) tra i modelli confrontati, superando OmniGen2 (5,45) di oltre il 13% e il baseline Flux.1 Kontext (6,06). Ha eccellito in compiti che richiedevano sia manipolazioni globali che locali.
Generazione In-Context (OmniContext): InstructMoLE ha ottenuto il punteggio medio ID-Sim più alto (38,85) tra i modelli rilasciati, bilanciando l'aderenza all'istruzione e la preservazione dell'identità meglio di OmniGen2 (che aveva un alto rispetto del prompt ma una scarsa preservazione dell'identità).
Studi di Ablazione:
- Politica di Instradamento: IGR ha superato significativamente l'instradamento a livello di token (Standard, Expert Choice, Expert Race) nei compiti di allineamento spaziale (Depth RMSE, Canny F1, Pose F1), confermando che la coerenza globale è cruciale per l'integrità strutturale.
- Componenti: La rimozione della perdita di ortogonalità o della distillazione del segnale in stile Perceiver ha portato a cali misurabili delle prestazioni, validando la necessità sia della diversità funzionale che della codifica fine delle istruzioni.

Significato e Affermazioni

Il documento afferma che l'Instradamento Guidato dall'Istruzione (IGR) rappresenta un paradigma più efficace rispetto all'instradamento a livello di token tradizionale per il fine-tuning guidato da istruzioni dei modelli generativi. Allineando la selezione degli esperti con l'intento olistico dell'utente, InstructMoLE abilita:

Controllo Compositivo Superiore: La capacità di rendere scene complesse con più soggetti e relazioni spaziali specifiche senza frammentazione.
Fedeltà all'Intento dell'Utente: Migliore aderenza a istruzioni complesse a catena di pensiero e preservazione dell'identità nei compiti di modifica.
Robustezza: Il framework mantiene alta fedeltà anche durante l'elaborazione di istruzioni complesse, sebbene gli autori notino limitazioni in caso di grave corruzione testuale o carichi di riferimento estremi (binding di >3 entità).

Il lavoro stabilisce un framework robusto e generalizzabile per l'adattamento efficiente in parametri dei diffusion transformers, affrontando le sfide specifiche della generazione multi-condizionale che gli adattatori monolitici e i modelli MoE con instradamento locale non riescono a risolvere.