Riepilogo Tecnico: UniPPTBench e UniPPTEval

1. Enunciato del Problema

I recenti progressi nei modelli generativi multimodali hanno reso sempre più fattibile la generazione automatica di presentazioni. Tuttavia, il campo attualmente manca di un framework unificato per valutare questi sistemi attraverso i diversi setting di input riscontrabili in scenari reali. La ricerca e i benchmark esistenti isolano tipicamente specifici regimi di input—come la generazione basata solo su istruzioni o la conversione da documento singolo a slide—fallendo nel coprire lo spettro delle esigenze utente, che va da prompt vaghi alla sintesi complessa da più fonti.

Inoltre, le metodologie di valutazione attuali sono insufficientemente specifiche per lo scenario. Si affidano prevalentemente a criteri generici di qualità della presentazione (ad esempio, appeal visivo, qualità del layout e coerenza complessiva). Queste metriche spesso non riescono a diagnosticare le capacità fondamentali richieste da input specifici, come la compressione ancorata, l'allineamento testo-visivo e la sintesi da più fonti. Di conseguenza, un sistema può produrre un deck visivamente curato che tuttavia omette prove chiave, distorce grafici o non riesce a conciliare informazioni conflittuali provenienti da fonti multiple. Il campo richiede un benchmark unificato e un protocollo di valutazione consapevole dello scenario per diagnosticare fedelmente i sistemi di generazione di presentazioni attraverso diversi setting reali.

2. Metodologia

A. UniPPTBench: Un Benchmark Unificato

Gli autori introducono UniPPTBench, un benchmark progettato per coprire quattro setting di input rappresentativi organizzati per crescente complessità di ancoraggio:

1. Prompt Vago: Valuta la pianificazione a scopo aperto sotto intenti utente sottodeterminati senza materiali sorgente.
2. Documento Lungo: Testa la compressione fedele alla fonte e la selezione dei contenuti da testi estesi (media di ~128 pagine).
3. Documento Multimodale: Enfatizza l'allineamento tra affermazioni testuali e materiali visivi (figure, grafici, tabelle) all'interno di un documento.
4. Multi-Fonte: Richiede l'integrazione di prove, la rimozione di ridondanze e una sintesi fedele attraverso documenti eterogenei multipli (media di ~59 pagine da ~4,5 fonti).

Il dataset comprende 126 task attraverso sei domini applicativi (ad esempio, Ricerca, Business, Politica), costruiti da fonti pubbliche autorevoli (SEC EDGAR, arXiv, ONU, ecc.). La pipeline di costruzione include la raccolta delle fonti, la formulazione dei task (accoppiamento di documenti con intenti realistici), l'annotazione dei metadati (identificazione di punti chiave e span di prove) e un rigoroso controllo di qualità.

B. UniPPTEval: Un Protocollo di Valutazione Consapevole dello Scenario

Per affrontare i limiti delle metriche generiche, gli autori propongono UniPPTEval, che scompone la valutazione in due componenti:

1. Metriche Condivise: Un insieme compatto di metriche derivate attraverso allineamento umano, analisi di ortogonalità e selezione del fronte efficienza-accuratezza. Queste includono Adempimento delle Istruzioni, Coinvolgimento, Accuratezza dei Contenuti, Coerenza Visiva e Integrità Visiva. Consentono il confronto tra setting della qualità generale del deck.
2. Metriche Specifiche per lo Scenario: Metriche adattate ai requisiti fondamentali di ogni setting di input, utilizzando un paradigma di Valutazione Ancorata alla Fonte. Questo paradigma impiega una logica di verifica a due percorsi:
   • Controllo di Copertura a Livello Macro: Verifica l'estensione in cui le slide generate coprono una checklist di informazioni chiave derivata dai materiali sorgente.
   • Ricerca di Fattualità a Livello Micro: Scompone i contenuti delle slide in affermazioni specifiche e le verifica contro i materiali sorgente per garantire la veridicità.

Metriche specifiche includono Copertura dei Punti Chiave e Fedeltà dei Contenuti per Documento Lungo; Utilizzo degli Elementi Visivi, Allineamento Figura-Affermazione e Fedeltà della Traduzione dei Grafici per Multimodale; e Copertura Cross-Documento, Integrazione e Deduplicazione della Ridondanza per Multi-Fonte.

C. UniPPTAgent: Una Linea di Base Unificata

Gli autori sviluppano UniPPTAgent, un framework multi-agente open-source progettato per supportare tutti e quattro i setting di input all'interno di una pipeline unificata. A differenza di sistemi precedenti adattati a singoli regimi, UniPPTAgent scompone la generazione in tre agenti specializzati:

1. Agente Narrativo: Normalizza input eterogenei in una base di conoscenza strutturata e genera outline delle slide e descrizioni delle pagine tramite una procedura piano-outline-ancoraggio.
2. Agente Stile: Induce un contratto globale di stile a livello di documento (coprendo tipografia, colori e layout) per garantire coerenza tra le pagine.
3. Agente di Design Visivo: Traduce i layout in HTML risolti per lo stile e impiega un ciclo di feedback iterativo con un Modello Linguaggio-Visivo (VLM) per rilevare e correggere difetti percettivi (ad esempio, testo tagliato, sovrapposizioni).

3. Risultati Chiave

Gli esperimenti su UniPPTBench utilizzando UniPPTEval rivelano diverse scoperte critiche:

• Varianza delle Prestazioni: Le prestazioni del sistema variano sostanzialmente tra i setting di input. Prestazioni elevate su metriche generiche non implicano necessariamente un forte adempimento del task in scenari ancorati.
• Collo di Bottiglia dell'Ancoraggio: I sistemi attuali mostrano un divario significativo tra fluidità visiva e effettivo adempimento del task. Negli scenari multimodali, i sistemi falliscono frequentemente nell'allineamento figura-affermazione o nell'utilizzo efficace degli elementi visivi. Nei task di documento lungo, la fedeltà dei contenuti è costantemente inferiore alla copertura, indicando distorsioni fattuali negli output compressi.
• Sfide di Sintesi: La sintesi cross-source rappresenta una sfida di ordine superiore rispetto alla semplice estrazione di contenuti. I sistemi spesso faticano a organizzare le informazioni recuperate in una narrazione coerente e non ridondante, presentando frequentemente riepiloghi isolati piuttosto che storie unificate.
• Frammentazione Open-Source: Sebbene i sistemi open-source mostrino promesse, il loro supporto per diversi setting di input rimane frammentato rispetto ai sistemi proprietari, in particolare negli scenari ancorati e multi-input.
• Validità della Valutazione: Le metriche specifiche per lo scenario proposte rilevano con successo degradazioni specifiche delle capacità (ad esempio, allucinazioni, mancata ancoraggio visivo) che le metriche condivise generiche spesso ignorano. Il protocollo di valutazione dimostra alta affidabilità (bassa deviazione standard tra esecuzioni) e robustezza (alta correlazione tra diversi giudici LLM).

4. Significato e Contributi

Il paper rivendica i seguenti contributi:

1. UniPPTBench: Il primo benchmark unificato che copre quattro setting di input reali rappresentativi (prompt vago, documento lungo, documento multimodale e multi-fonte), consentendo un confronto sistematico tra flussi di lavoro diversi.
2. UniPPTEval: Un protocollo di valutazione consapevole dello scenario che combina metriche di qualità della presentazione condivise con metriche specifiche per il setting, spostando il focus dalla percezione visiva al tracciamento rigoroso delle prove.
3. UniPPTAgent: Una linea di base di riferimento trasparente e open-source che supporta tutti e quattro i setting di input, fornendo un punto di confronto riproducibile per la ricerca futura.
4. Insight Diagnostici: Esperimenti estesi che rivelano limitazioni persistenti nei sistemi attuali riguardo alla compressione ancorata, all'allineamento multimodale, all'integrazione cross-source e alla sintesi fedele.

Gli autori concludono che la generazione di presentazioni non dovrebbe essere studiata come un singolo task omogeneo, ma come un problema unificato con richieste di capacità dipendenti dal setting. Il framework proposto fornisce una base fedele e diagnostica per valutare e avanzare i sistemi di generazione di presentazioni in diversi scenari reali. Codice e dati sono destinati al rilascio pubblico.