🤖 machine learning

Text-to-Stage: Spatial Layouts from Long-form Narratives

Questo lavoro presenta "Text-to-Stage", un metodo che combina rejection SFT e RL con reward verificabili per insegnare ai modelli linguistici a inferire layout scenici e movimenti da narrazioni testuali non strutturate, superando le prestazioni dei modelli standard nella generazione di spazi teatrali plausibili.

Autori originali: Jefferson Hernandez, Swarnadeep Saha, Chenxi Whitehouse, Sanjeel Parekh, Calvin Murdock, Yuliang Li, W. Owen Brimijoin, Vamsi Krishna Ithapu, Ishwarya Ananthabhotla

Pubblicato 2026-03-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jefferson Hernandez, Swarnadeep Saha, Chenxi Whitehouse, Sanjeel Parekh, Calvin Murdock, Yuliang Li, W. Owen Brimijoin, Vamsi Krishna Ithapu, Ishwarya Ananthabhotla

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un libro molto vecchio e denso, pieno di dialoghi tra personaggi che parlano, ridono e litigano. Se lo leggi, nella tua mente immagini una scena: chi sta dove, chi si avvicina a chi, chi è arrabbiato e chi è timido. È come se il tuo cervello fosse un regista teatrale invisibile che, mentre leggi, disegna mentalmente la scena.

Questo paper scientifico si chiede: "Le Intelligenze Artificiali (LLM) possono fare lo stesso?" Possono leggere un romanzo e capire non solo chi parla, ma anche dove si trova, come si muove e come è disposta la scena, anche se l'autore non ha mai scritto una sola parola su questo?

Ecco la spiegazione semplice di come hanno fatto, usando qualche metafora creativa.

1. Il Problema: Il Libro è "Cieco"

I libri sono come mappe senza coordinate GPS. L'autore scrive: "Alice disse al Lepre Marzolino: 'Bevi ancora tè'."
Non dice: "Alice era in piedi sulla sinistra, il Lepre era seduto al centro, e si sono avvicinati."
Per un computer, questo è un labirinto. Se gli chiedi di creare una scena, potrebbe mettere tutti i personaggi nello stesso punto, o farli saltare da una parte all'altra senza motivo, come se fossero fantasmagorici.

2. La Soluzione: Il "Regista Robot" (DRAMATURG Spatializer)

Gli autori hanno creato un modello chiamato Spatializer. Immaginalo come un regista teatrale robotico che ha studiato anni di manuali di recitazione e regia.
Il suo compito è prendere un pezzo di testo e trasformarlo in una mappa di scena strutturata (un file JSON), dove ogni personaggio ha una posizione precisa su una griglia immaginaria (sinistra/destra, davanti/dietro).

3. Come l'hanno addestrato: La "Scuola di Regia"

Non hanno potuto assumere migliaia di registi umani per etichettare tutti i libri (sarebbe costato una fortuna!). Hanno usato un trucco intelligente in due fasi:

Fase 1: L'Apprendista (SFT)
Hanno preso un "maestro" (un modello AI molto potente) e gli hanno fatto generare migliaia di possibili scene per lo stesso testo. Poi, hanno usato un giudice automatico (un insieme di regole matematiche basate sulla regia teatrale) per scegliere solo le scene migliori.
- Metafora: Immagina di far disegnare 100 bozzetti a un artista. Un critico d'arte (il giudice) sceglie solo i 5 migliori e dice all'apprendista: "Copia solo questi". L'apprendista impara così a fare le cose "giuste" per definizione.
Fase 2: L'Allenamento con Punti (RL/GRPO)
Una volta che l'apprendista sapeva le basi, l'hanno messo in una palestra di allenamento. Ogni volta che generava una scena, il "giudice automatico" gli dava un punteggio.
- Se i personaggi si muovevano troppo senza motivo (come se fossero nervosi), il punteggio scendeva.
- Se i protagonisti erano al centro e gli altri ai lati (come in un quadro ben bilanciato), il punteggio saliva.
- Se la scena cambiava quando cambiava il luogo o il tono della conversazione, il punteggio saliva.
  Il modello ha imparato a massimizzare questi punti, diventando un vero e proprio regista esperto.

4. Le Regole del Gioco (I Principi Drammaturgici)

Il "giudice automatico" non è stato inventato a caso. Si basa su regole vere della regia teatrale:

Prossimità: Se due personaggi sono intimi o in conflitto, devono essere vicini. Se sono distanti, devono stare lontani.
Equilibrio: Non mettere tutti i personaggi a sinistra, altrimenti la scena sembra sbilanciata (come un tavolo con troppi oggetti da un lato).
Movimento Logico: I personaggi non dovrebbero saltare da un lato all'altro della stanza senza una ragione. Se camminano, dovrebbero farlo con passo deciso, non a scatti.
Focus: Chi parla di più o è più importante dovrebbe essere al centro o davanti (vicino al pubblico).

5. Il Risultato: Un'Audiolibro che "Vive"

Perché tutto questo? Per creare audiolibri spaziali.
Immagina di ascoltare un audiolibro con le cuffie. Con questo sistema, se il modello dice che il personaggio "A" è a sinistra e "B" è a destra, la tua voce sentirà il suono provenire da sinistra e da destra.

Se i personaggi si avvicinano, il suono si sposta verso il centro.
Se litigano, le voci si fronteggiano.
Se uno entra nella stanza, lo senti arrivare da dietro.

In Sintesi

Hanno insegnato a un'Intelligenza Artificiale a leggere tra le righe non solo per capire la storia, ma per disegnare la scena nella tua mente (e nelle tue orecchie).
Hanno trasformato la lettura passiva in un'esperienza immersiva, usando le regole antiche del teatro per addestrare la tecnologia moderna. È come dare a un computer la capacità di "sentire" lo spazio, trasformando parole piatte in un mondo tridimensionale e vivace.

1. Il Problema: Inferenza Spaziale da Narrativa Non Strutturata

Il lavoro affronta la sfida di far sì che i Large Language Models (LLM) deducano configurazioni spaziali complesse (posizioni dei personaggi, movimenti, scene) partendo da testi narrativi lunghi e non strutturati, privi di indicatori spaziali espliciti.
Mentre gli umani e i registi teatrali sono capaci di inferire queste configurazioni basandosi su principi di drammaturgia e composizione visiva (come la prossemica, l'equilibrio visivo e l'economia del movimento), gli LLM faticano a farlo a causa della natura ambigua e "sottospecificata" del testo letterario.
L'obiettivo è automatizzare il processo di "Text-to-Stage": convertire un brano di un libro in una rappresentazione strutturata di una messa in scena teatrale, definita come:

Segmentazione delle scene.
Attribuzione dei dialoghi e risoluzione degli alias dei personaggi.
Posizionamento dei personaggi su una griglia discreta del palco (es. 3x3: fronte/centro/fondo x sinistra/centro/destra).
Annotazione di entrate, uscite e movimenti.

2. Metodologia

A. Rappresentazione e Vincoli

Il modello genera un output JSON strutturato che mappa il testo su una griglia spaziale discreta. Per rendere il compito verificabile, vengono imposti vincoli strutturali rigidi (es. etichette di posizione fisse, campi obbligatori per ogni citazione).

B. Valutatore Deterministico Ispirato alla Drammaturgia

Poiché esistono molte soluzioni plausibili per lo stesso testo, gli autori hanno sviluppato un valutatore deterministico ( $R(x, y)$ ) che assegna un punteggio da 0 a 1 basato su principi teatrali consolidati. Il punteggio è scomposto in cinque componenti:

Validità Strutturale: Correttezza del formato JSON e rispetto dello schema.
Ancoraggio al Testo: Corrispondenza tra citazioni e parlanti, e risoluzione corretta degli alias (es. "il Marchese" -> "Marchese").
Composizione Spaziale: Rispetto della prossemica (i parlanti principali in primo piano), equilibrio sinistra/destra e uso di composizioni triangolari per mantenere il focus.
Coerenza del Movimento: Penalizzazione di movimenti inutili o "oscillazioni" frequenti; premiazione di spostamenti laterali e motivati.
Struttura della Scena: Coerenza nelle transizioni tra scene (cambi di luogo/tempo) e logica di entrata/uscita dei personaggi.

C. Pipeline di Addestramento

Il lavoro propone una ricetta di addestramento in due fasi che combina Supervised Fine-Tuning (SFT) e Reinforcement Learning (RL):

SFT con Rejection Sampling (Best-of-N):
- Un modello "insegnante" forte genera molteplici candidati ( $N$ ) per ogni testo.
- Il valutatore deterministico seleziona il candidato con il punteggio più alto (filtrando quelli invalidi).
- Il modello studente viene addestrato su queste coppie (testo, layout selezionato) tramite SFT. Questo agisce come una forma di Rejection SFT, insegnando al modello a imitare solo le soluzioni che soddisfano i criteri drammaturgici.
Post-training con GRPO (Group Relative Policy Optimization):
- Per superare i limiti dell'SFT (che imita solo il "migliore" esempio), viene applicato il RL con ricompense verificabili (RLVR).
- Utilizzando l'algoritmo GRPO, il modello genera un gruppo di traiettorie per ogni input, le valuta con il reward deterministico e calcola vantaggi relativi al gruppo.
- Questo processo ottimizza direttamente la funzione di reward drammaturgico, migliorando la coerenza spaziale e l'economia del movimento senza bisogno di un critic esterno costoso.

3. Contributi Chiave

Nuovo Task Formulation: Definizione del task "Text-to-Stage" che mappa passaggi di libri a JSON strutturati di sceneggiature, includendo attribuzione, posizioni e movimenti.
Suite di Valutazione Deterministica: Creazione di un sistema di valutazione automatico basato su principi di drammaturgia e composizione visiva, che trasforma un problema soggettivo in un obiettivo verificabile e ottimizzabile.
Ricetta di Addestramento Ibrida: Dimostrazione che combinare SFT con selezione Best-of-N e RL (GRPO) basato su reward verificabili porta a miglioramenti significativi nella qualità della messa in scena rispetto ai modelli base.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un corpus di letteratura classica inglese (PDNC) e dati sintetici (FanFic).

Performance Superiore: Il modello Spatializer-GRPO ottiene un punteggio medio macro del 88.5%, superando i migliori modelli proprietari (es. Claude Sonnet 3.5, GPT-4.1) e i modelli open-source più potenti (es. Llama-4-Scout) di un margine significativo (+5.1% e +6.5% rispettivamente).
Miglioramenti Specifici: I guadagni sono concentrati nelle metriche globali di messa in scena: validità delle posizioni sul palco, disposizione dei personaggi e coerenza del movimento. Il modello mantiene alte prestazioni anche nelle metriche locali di attribuzione del testo.
Validazione Umana: Lo studio di preferenza umana su clip audio binaurali (dove i dialoghi sono posizionati spazialmente in base all'output del modello) ha mostrato che il valutatore deterministico è fortemente allineato con le preferenze umane (correlazione di Spearman $\rho = 0.95$ ), superando anche i giudizi di altri LLM ("LLM-as-a-Judge").
Robustezza: Il modello addestrato con GRPO è molto più robusto alla semplificazione dei prompt rispetto ai modelli SFT o zero-shot, dimostrando di aver appreso i principi drammaturgici intrinsecamente piuttosto che di aver memorizzato le istruzioni del prompt.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

Automazione della Previsualizzazione: Offre un metodo scalabile per generare previsualizzazioni spaziali per applicazioni come audiolibri spaziali, giochi narrativi e produzione teatrale, riducendo il lavoro manuale dei registi.
RL con Reward Verificabili: Dimostra l'efficacia dell'uso di reward deterministici basati su regole (invece che solo su feedback umani o LLM) per addestrare modelli su compiti complessi di ragionamento spaziale e temporale.
Ragionamento Spaziale negli LLM: Fornisce una nuova prospettiva sulle capacità di ragionamento spaziale degli LLM, mostrando che possono apprendere concetti astratti come la "prossemica" e la "composizione visiva" se guidati da vincoli strutturati e feedback verificabili.

In sintesi, il paper introduce un approccio robusto per trasformare la narrativa testuale in layout spaziali teatrali, colmando il divario tra la comprensione linguistica e la pianificazione spaziale strutturata, con validazione diretta attraverso criteri di qualità umana.