Can We Improve Educational Diagram Generation with In-Context Examples? Not if a Hallucination Spoils the Bunch

Sintesi Tecnica: Miglioramento della Generazione di Diagrammi Educativi con Esempi in-Context

Problematica
L'intelligenza artificiale (IA) generativa è sempre più utilizzata nell'educazione informatica per produrre materiali didattici, inclusi i diagrammi. Tuttavia, la qualità di questi output rimane una preoccupazione significativa per docenti e studenti. I metodi esistenti per la generazione di codice per diagrammi, come l'estrazione di entità/relazioni o il classico in-context learning (ICL), soffrono spesso di verbosità, scarsa qualità del layout e, cosa più critica, di allucinazioni. Le allucinazioni nei Large Language Models (LLM) sono definite come disallineamenti rispetto al contesto fornito o alla conoscenza fattuale, categorizzate in fattualità (contraddizione di conoscenze mondane o fabbricazione di fatti non verificabili) e fedeltà (deviazione dalle istruzioni dell'utente o dal contesto di input). La ricerca empirica indica che i tassi di allucinazione possono variare dal 3% all'86% anche nei modelli con le migliori prestazioni. La sfida centrale affrontata è la generazione di diagrammi educativi affidabili e di alta qualità che aderiscano rigorosamente ai contesti dei testi sorgente senza introdurre errori fattuali o inconsistenze logiche.

Metodologia
Lo studio propone un nuovo metodo ICL per la generazione di codice per diagrammi (specificamente nella sintassi dot di Graphviz) che sfrutta la Teoria della Struttura Retorica (RST) per selezionare esempi in-context rilevanti. L'approccio si basa sul presupposto che la RST, che analizza la coerenza del testo attraverso relazioni gerarchiche tra "unità di discorso elementari" (EDU), possa guidare gli LLM a visualizzare relazioni di coerenza coerenti con le aspettative dell'utente.

La pipeline proposta prevede due varianti, RST1 e RST2, confrontate con un baseline zero-shot (0-shot):

1. Analisi RST (Fase 1): L'LLM analizza il testo sorgente per identificare le EDU e le loro relazioni retoriche (nuclei e satelliti) basandosi sulle linee guida di annotazione di Stede et al. Questa fase viene saltata nel baseline zero-shot.
2. Ricerca di Similarità (Fase 2): Il sistema confronta l'analisi RST generata con un dizionario pre-costruito di quattro triplette testo-analisi-diagramma. Il modello seleziona l'esempio la cui struttura RST è più simile all'input.
3. Costruzione dell'Esempio (Fase 3):
   • RST1: Utilizza il testo sorgente e il relativo codice del diagramma dall'esempio selezionato.
   • RST2: Utilizza l'analisi RST e il relativo codice del diagramma dall'esempio selezionato.
4. Generazione ICL (Fase 4): Il modello genera il codice iniziale del diagramma utilizzando l'esempio selezionato come dimostrazione.
5. Riparazione e Raffinamento (Fasi 5–7): Il codice generato è sottoposto a un processo iterativo di riparazione per correggere gli errori di sintassi finché non viene renderizzato. Una successiva fase di raffinamento (Fase 6) istruisce il modello a migliorare l'estetica del layout (ad esempio, riducendo gli incroci di linee, garantendo la simmetria) basandosi su una rubrica specifica, seguita da un ciclo finale di riparazione.
   Lo studio ha utilizzato i modelli GPT-4o e o3, testandoli su 25 testi sorgente categorizzati per difficoltà (base, media, avanzata). Sono stati generati e valutati in totale 150 diagrammi.

Contributi Chiave

1. Metodo ICL basato su RST: Gli autori propongono e valutano un nuovo metodo per la selezione delle dimostrazioni in-context per la generazione di codice per diagrammi basato sull'analisi RST, con l'obiettivo di ridurre le inconsistenze del contesto e le allucinazioni rispetto alla generazione zero-shot.
2. Rubrica di Valutazione: È stata sviluppata una rubrica a cinque scale per valutare la qualità del diagramma attraverso tre dimensioni:
   • Organizzazione Logica (C1): Flusso, struttura, chiarezza del linguaggio e aderenza alle convenzioni.
   • Connettività (C2): Uniformità e coesione delle connessioni (ad esempio, assenza di nodi orfani).
   • Estetica del Layout (C3): Presenza di problemi quali incroci di linee, oscuramento di elementi, asimmetria e disallineamento.
3. Analisi delle Allucinazioni: Un'indagine approfondita sulla relazione tra l'allucinazione dell'IA (sia fattuale che di fedeltà) e la qualità del diagramma, incluso il passaggio di errori attraverso le pipeline di generazione multi-step.

Risultati

• Prestazioni del Modello: Il modello o3 ha superato costantemente GPT-4o in tutti i metodi e le metriche, suggerendo che i modelli con capacità di ragionamento più forti beneficiano maggiormente di questo approccio.
• Efficacia del Metodo:
  • RST1 con o3 ha prodotto il più alto tasso di diagrammi di alta qualità (punteggi > 3) per l'organizzazione logica (C1).
  • RST2 è generalmente performante peggio di RST1 e dello zero-shot per la connettività (C2), probabilmente a causa della complessità di elaborare le analisi RST generate dall'LLM come input.
  • I metodi basati su RST hanno generalmente diminuito il tasso di allucinazioni fattuali e migliorato la fedeltà al contesto di input rispetto alla generazione zero-shot.
• Risultanze sulle Allucinazioni:
  • Nonostante l'uso di testi sorgente verificati, fino al 20% dei diagrammi generati dall'IA conteneva allucinazioni fattuali.
  • Complessità del Contesto: Una maggiore complessità nei testi sorgente (livello avanzato) è correlata a tassi più elevati di allucinazione e punteggi di qualità del diagramma inferiori.
  • Propagazione dell'Errore: Nella pipeline RST2, le allucinazioni dell'analisi RST iniziale (Fase 1) o della ricerca di similarità (Fase 2) sono state frequentemente ereditate dall'output finale del diagramma.
  • Limiti dell'Autocorrezione: Gli LLM hanno avuto difficoltà a rilevare e riparare i propri errori di layout; la fase di raffinamento (Fase 6) spesso non è riuscita a eliminare le allucinazioni o ha introdotto nuovi problemi di layout.
• Valutazione Automatica: La valutazione automatizzata tramite LLM (metodi E1, E2, E3) ha mostrato un moderato allineamento con le valutazioni umane, con la riflessione basata su istruzioni (E3) e la combinazione di istruzioni/ICL (E2) che hanno prodotto i risultati migliori, in particolare con il modello o3.

Significatività e Rivendicazioni
L'articolo sostiene che il suo metodo ICL basato su RST offre una via promettente per migliorare l'affidabilità dei diagrammi educativi generati automaticamente, allineando gli output del modello alle aspettative dell'utente e riducendo le inconsistenze del contesto. Tuttavia, gli autori mantengono una posizione modesta, riconoscendo che la natura stocastica degli LLM porta a una qualità variabile e che le pipeline multi-step introducono rischi di propagazione dell'errore.

Lo studio conclude che, sebbene il metodo proposto diminuisca le allucinazioni fattuali e migliori la fedeltà, non è una soluzione completa. Gli autori sottolineano che, a causa del persistente rischio di allucinazione, l'applicazione dell'IA generativa nei contesti educativi richiede salvaguardie necessarie per proteggere i principali stakeholder (insegnanti e studenti). Affermano esplicitamente che è necessaria un'ulteriore investigazione empirica per tenere pienamente conto della stocasticità degli LLM e che la loro attuale implementazione, utilizzando un set limitato di esempi, non comprende tutte le relazioni di coerenza esistenti.