Sintesi Tecnica: Un Benchmark e un Framework per la Valutazione delle Predizioni della Prossima Azione nei Fogli di Calcolo

Definizione del Problema

Sebbene il completamento predittivo del codice abbia accelerato significativamente la produttività degli sviluppatori nel software engineering, funzionalità analoghe per l'autoria di fogli di calcolo rimangono virtualmente inesistenti. Nonostante l'onnipresenza dei fogli di calcolo, gli attuali strumenti di automazione sono limitati a scenari specifici (ad esempio, generazione di formule o derivazione di colonne tramite FlashFill) o richiedono l'invocazione esplicita di agenti di linguaggio naturale da parte dell'utente. Per le modifiche routinarie e ripetitive, l'overhead del prompting e dell'attesa delle risposte spesso supera il costo della manipolazione diretta, portando gli utenti a preferire l'inserimento manuale.

Le barriere primarie allo sviluppo di predittori generalizzati della prossima azione per i fogli di calcolo sono duefoldi:

1. Scarsità di Dati: A differenza del codice, che possiede cronologie di versioni dettagliate, i corpora pubblici di fogli di calcolo mancano di cronologie di editing granulari. I dataset esistenti catturano tipicamente solo snapshot statici o evoluzioni di alto livello.
2. Complessità della Valutazione: Lo spazio delle azioni nei fogli di calcolo è complesso, coinvolgendo operazioni spaziali, temporali e composte. Inoltre, una valutazione statica del tipo "data la cronologia $x$, predici la prossima azione $y$" (teacher-forced) non riesce a catturare la natura dinamica dell'interazione dell'utente, dove le predizioni accettate alterano lo stato futuro e le necessità successive dell'utente.

Metodologia

1. Costruzione del Dataset di Benchmark

Per affrontare la mancanza di cronologie di editing, gli autori hanno curato un dataset di 52 traiettorie di alta qualità per un totale di 11.907 operazioni. Queste traiettorie ricostruiscono la creazione di fogli di calcolo partendo da workbook pubblici statici. La pipeline di costruzione prevede tre fasi:

• Cold-Start Simbolico: Un modello vision-language (VLM) annota i fogli statici con metadati semantici (regioni, dipendenze, intervalli incollati). Euristiche simboliche poi decompongono lo stato finale in operazioni a livello di cella, fondendo operazioni identiche adiacenti in azioni di intervallo (range).
• Raffinamento tramite LLM: Un ciclo di giudizio-editing basato su LLM identifica e corregge pattern innaturali nelle sequenze simboliche (ad esempio, consolidando la formattazione sparsa cella per cella in operazioni di intervallo, rimuovendo la formattazione superflua).
• Annotazione Umana: Annotatori umani eseguono un passaggio finale per correggere le rimanenti sottosequenze innaturali. Questo passaggio è sostanziale; la media della distanza di edit normalizzata tra le traiettorie pre-annotazione e quelle finali è 0,69, con 19 delle 52 traiettorie effettivamente riscritte da zero.

Il dataset copre diverse operazioni tra cui inserimento, unione (merging), formattazione (font, riempimento, bordo, allineamento), incolla e autofill.

2. Framework di Valutazione Online

Il paper propone un framework di valutazione online che simula un workflow reale dell'utente, andando oltre la semplice punteggiazione statica per step.

• Processo: Il sistema osserva una cronologia di $n$ azioni e predice una sequenza di zero o più azioni.
• Accettazione/Rifiuto: In base a un'euristica di accettazione (ad esempio, soglie di precisione, risparmio di azioni utente), la predizione viene accettata o rifiutata.
• Adattamento dello Stato:
  • Se Accettata: La traiettoria futura di ground-truth viene aggiornata dinamicamente. Le predizioni di successo rimuovono le corrispondenti operazioni future. I falsi positivi innescano l'inserimento di operazioni inverse (ad esempio, cancellare un riempimento errato) per annullare gli errori.
  • Se Rifiutata: La predizione viene scartata e la successiva azione dell'utente del ground-truth viene aggiunta alla cronologia.
• Terminazione: Il ciclo si ripete fino al raggiungimento del foglio di calcolo target o al superamento di una soglia di step.

3. Metriche

Il framework calcola le metriche a tre granularità:

• Livello Proprietà/Azione: Classifica le coppie singole (cella, proprietà) come Veri Positivi (TP), Falsi Positivi (FP), Falsi Negativi (FN) o Discrepanze (MM).
• Livello Predizione: Misura la Precisione (frazione di proprietà corrette) e le Azioni Utente Risparmiate (UAS), che quantificano la riduzione netta dello sforzo dell'utente se la predizione venisse accettata.
• Livello Emulazione: Monitora il Tasso di Accettazione (AR), la Precisione Media e la Copertura di Predicibilità (PCOV) — la frazione di azioni teoricamente prevedibili (determinate da un oracle) che il sistema ha effettivamente prodotto.

4. Baseline Solver

Il framework valuta tre famiglie di solver:

• LLM Zero-shot: Modelli (varianti GPT-5) con prompt basati su cronologia e sintassi delle operazioni.
• SLM Fine-tuned: Modelli SmolLM2 (135M e 360M di parametri) addestrati su sequenze di operazioni sintetiche.
• Machine Learning Classico: Modelli N-gram (addestrati e online), LSTM e XGBoost.

Risultati Chiave

• Apprendibilità: Il compito è apprendibile. Esiste una chiara correlazione tra la capacità del modello e le prestazioni. GPT-5 con ragionamento raggiunge il 32,7% di UAS nelle impostazioni di ri-predizione a singola azione, mentre GPT-5 mini raggiunge il 18,0%. Un modello SmolLM2-360M fine-tuned (26,8% UAS) si avvicina alle prestazioni di GPT-5 (27,4%) nonostante sia significativamente più piccolo.
• L'Importanza dell'Astensione: I modelli che mancano della capacità di astensione performano male. L'euristica "ALWAYS" (accettare ogni predizione) produce un UAS del -19,2% (risparmio netto negativo) a causa della bassa precisione (9,3%). Ciò conferma che sapere quando non predire è critico quanto la precisione della predizione stessa.
• Frequenza di Trigger: Invocare il predittore dopo ogni azione dell'utente ($s=1$) produce l'UAS più elevato (27,4%) nonostante un tasso di accettazione inferiore (30,9%) rispetto ai trigger meno frequenti. Ciò suggerisce che i trigger economici e frequenti sono preziosi, poiché gli utenti possono rifiutare i suggerimenti errati senza penalità significative.
• Categorie di Azione: Le operazioni concentrate sul contenuto (Input, Incolla, Riempimento) vengono accettate con tassi più alti rispetto a quelle presentazionali (Allineamento, Bordo). Il fine-tuning migliora significativamente le prestazioni sulle categorie strutturali (Bordo, Riempimento, Autofill) dove i modelli base faticavano.
• Lunghezza del Contesto: Aumentare la finestra di contesto da 32 a 128 operazioni migliora l'UAS, ma i guadagni diminuiscono rapidamente oltre le 128, suggerendo che la maggior parte del segnale predittivo risiede nella cronologia recente.
• Lunghezza della Predizione: Nelle impostazioni multi-azione, una portata di predizione illimitata performa meglio. Limitare il numero di azioni per predizione riduce l'UAS, indicando che i modelli si autoregolano bene quando sono autorizzati a emettere sequenze più lunghe per pattern ripetitivi.

Significato e Contributi

Il paper apporta tre contributi primari:

1. Dataset di Benchmark: Il primo dataset curato di 52 traiettorie di creazione di fogli di calcolo (11.907 operazioni) con ground truth validato dagli umani, affrontando la critica mancanza di dati sulla cronologia di editing.
2. Framework di Valutazione Online: Una metodologia di valutazione innovativa che modella il comportamento di accettazione dell'utente e adatta dinamicamente le traiettorie di ground-truth. Ciò cattura l'utilità nel mondo reale e l'accumulo di errori, che le valutazioni offline statiche perdono.
3. Insight di Design: Applicando questo framework a vari baseline, gli autori dimostrano che:
   • La predizione dell'azione è un compito praticabile sia per grandi che per piccoli modelli.
   • I meccanismi di astensione sono cruciali per l'utilità; i modelli devono imparare a sopprimere le predizioni quando la fiducia è bassa.
   • I trigger economici (tentativi di predizione frequenti) sono più efficaci rispetto all'attesa di momenti ad alta confidenza.
   • Il fine-tuning su sequenze di operazioni specifiche del dominio permette a piccoli modelli di competere con i grandi LLM zero-shot.

Gli autori concludono che questo benchmark e framework forniscono una base necessaria per lo sviluppo di assistenti proattivi e senza modalità per i fogli di calcolo, colmando il divario tra il completamento del codice e la produttività dei fogli di calcolo. Essi incoraggiano esplicitamente la ricerca in metodi meno energivori (come gli SLM fine-tuned) per risolvere questo problema.