Riepilogo Tecnico: Apprendimento Neurosimbolico per l'Argomentazione al Momento dell'Inferenza

Enunciato del Problema

La verifica delle affermazioni è un compito critico in ambiti ad alto rischio come l'assistenza sanitaria, la finanza e la scoperta scientifica. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano mostrato promesse in quest'area, la classificazione binaria standard (Vero/Falso) è spesso insufficiente quando le informazioni sottostanti sono incomplete o conflittuali. In tali casi, un verdetto "Incerto" è più appropriato di una decisione binaria forzata. Inoltre, in contesti ad alto rischio, le spiegazioni per questi verdetti devono essere fedeli—il che significa che il processo di ragionamento deve riflettere genuinamente i fattori che determinano la decisione finale, piuttosto che affidarsi a razionalizzazioni post-hoc che potrebbero non essere fedeli alla logica interna del modello.

Gli approcci esistenti trattano spesso l'argomentazione come un livello di spiegazione al momento dell'inferenza o si affidano a LLM preesistenti per generare argomenti senza ottimizzarli per il compito specifico di verifica. Inoltre, molti approcci di apprendimento per rinforzo (RL) per il ragionamento si concentrano su compiti con risultati verificabili e deterministici (ad esempio, matematica), non riuscendo ad affrontare l'incertezza intrinseca della verifica delle affermazioni, dove gli esiti possono essere ambigui.

Metodologia: Argomentazione al Momento dell'Inferenza (ITA)

Gli autori introducono l'Argomentazione al Momento dell'Inferenza (ITA), un framework neurosimbolico addestrabile progettato per la verifica ternaria delle affermazioni (Vero, Falso, Incerto). A differenza dei metodi precedenti che utilizzano l'argomentazione esclusivamente per la spiegazione, ITA integra direttamente le semantica formali dell'argomentazione nel ciclo di addestramento per guidare sia la generazione degli argomenti che la loro valutazione.

Framework Principale

Il sistema opera su Framework di Argomentazione Bipolari Quantitativi (QBAF):

1. Generazione degli Argomenti: Un LLM (parametrizzato da $\theta$) genera un insieme di argomenti a sostegno ($S_c$) e di attacco ($T_c$) per una data affermazione $c$. L'affermazione stessa è trattata come un argomento $a_c$.
2. Assegnazione del Punteggio Base: Un Modello di Punteggio Base (BSM) addestrabile (parametrizzato da $\phi$) assegna una forza intrinseca (punteggio base) $\tau(a) \in [0, 1]$ a ciascun argomento generato. Il punteggio base dell'affermazione è fissato a un prior neutrale di 0,5.
3. Aggregazione Semantica: Una funzione di semantica dell'argomentazione deterministica, DF-QuAD, aggrega i punteggi base e le relazioni di sostegno/attacco per calcolare una forza argomentativa finale $\hat{v}_c = \sigma(a_c)$ per l'affermazione.
4. Derivazione del Verdetto: La forza finale è mappata su un verdetto ternario utilizzando soglie fisse:
   • Falso: $\hat{v}_c \leq 1/3$
   • Vero: $\hat{v}_c \geq 2/3$
   • Incerto: $1/3 < \hat{v}_c < 2/3$

Strategie di Addestramento

ITA impiega due fasi di addestramento distinte per ottimizzare i componenti:

1. Apprendimento Debolmente Supervisionato per i Punteggi Base (BSM):

   • Fase di Priming: La testa di regressione del BSM è inizializzata utilizzando apprendimento supervisionato su triple (affermazione, argomento, punteggio base), dove i punteggi sono generati sollecitando un LLM base.
   • Fase di Perdita Semantica: Il BSM è perfezionato utilizzando una funzione di perdita neurosimbolica. La perdita è l'Errore Quadratico Medio (MSE) tra la forza prevista dell'affermazione (derivata tramite DF-QuAD) e l'etichetta di verità (mappata su 0, 0,5 o 1). Poiché DF-QuAD è differenziabile, i gradienti possono essere retropropagati attraverso la semantica per aggiornare il BSM.
   • Perdite Ausiliarie: Per migliorare le proprietà locali, gli autori introducono la Perdita di Coerenza (minimizzando la varianza per argomenti semanticamente equivalenti) e la Perdita di Classifica (imponendo un ordinamento predefinito della qualità degli argomenti).

2. Apprendimento per Rinforzo per la Generazione degli Argomenti:

   • Il generatore di argomenti è ottimizzato utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO).
   • Funzione di Ricompensa: La ricompensa è derivata dalla forza finale dell'affermazione $\hat{v}_c$ prodotta dal BSM e da DF-QuAD. Fornisce la ricompensa massima per forze che rientrano nell'intervallo di classificazione corretto (ad esempio, alta forza per etichette "Vero") e ricompense che diminuiscono linearmente man mano che la forza si allontana dalla soglia corretta. Questo trasforma le semantica dell'argomentazione in un segnale di addestramento, incoraggiando il generatore a produrre argomenti che portano a verdetti corretti.

Contributi Chiave

1. Framework Neurosimbolico Addestrabile: L'introduzione di ITA, che estende il ruolo dell'argomentazione da un livello statico di spiegazione al momento dell'inferenza a un'interfaccia di apprendimento dinamica in cui la semantica guida l'addestramento del modello.
2. Strategie di Ottimizzazione: La proposta di due nuove strategie di addestramento:
   • Apprendimento dei punteggi base tramite verdetti argomentativi a valle, piuttosto che affidarsi esclusivamente a punteggi statici degli LLM.
   • Utilizzo di semantica formali dell'argomentazione per generare ricompense per l'apprendimento per rinforzo, ottimizzando la generazione degli argomenti per il compito specifico di verifica delle affermazioni.
3. Spiegabilità Fedele: Per costruzione, il verdetto finale è una funzione deterministica degli argomenti generati, dei loro punteggi appresi e della semantica. Questo garantisce che la spiegazione sia fedele al processo decisionale, evitando le insidie delle tracce di ragionamento post-hoc.

Risultati Sperimentali

Gli autori hanno valutato ITA su due dataset di verifica ternaria delle affermazioni: TFU Evaluation Claims (derivati da StrategyClaim e DEBATunE) e AVeriTeC (affermazioni del mondo reale). Hanno confrontato ITA con baseline non argomentative (previsione diretta tramite SFT e GRPO) e baseline argomentative (utilizzo di LLM preesistenti per argomenti e punteggi).

• Prestazioni:

  • Modelli di Punteggio Base: I BSM appresi hanno superato significativamente le baseline argomentative che utilizzavano punteggi costanti o sollecitati. Il BSM migliore (addestrato su argomenti generati da GPT-5 con perdite semantica, di classifica e di coerenza) ha raggiunto un'accuratezza di 0,677 su TFU e un'accuratezza bilanciata di 0,460 su AVeriTeC, superando tutte le baseline spiegabili in modo fedele e competendo con le più forti baseline di previsione diretta.
  • Generatori di Argomenti: L'addestramento del generatore di argomenti tramite GRPO ha prodotto risultati misti ma positivi, mostrando lievi miglioramenti rispetto ai generatori non addestrati quando accoppiati a punteggi sollecitati, sebbene i guadagni siano stati meno consistenti rispetto a quelli ottenuti dall'addestramento del BSM.
  • Combinazione: La combinazione di un generatore addestrato con un BSM addestrato non ha prodotto miglioramenti additivi rispetto al solo miglior BSM, suggerendo che lo valutatore è calibrato su una specifica distribuzione di argomenti.

• Proprietà Locali: L'addestramento con perdite ausiliarie ha migliorato significativamente la coerenza dei punteggi per argomenti parafrasati e la classifica degli argomenti per qualità, dimostrando che il framework può apprendere proprietà locali desiderabili oltre alla sola accuratezza a valle.

Significato e Affermazioni

Il documento afferma che ITA dimostra che le semantica formali dell'argomentazione possono fungere da segnale di addestramento utile per gli LLM, non solo come regola di aggregazione al momento dell'inferenza. Integrando l'argomentazione nel ciclo di addestramento, il sistema raggiunge prestazioni competitive con i metodi di previsione diretta mantenendo la fedeltà procedurale—il verdetto è derivato esplicitamente da strutture argomentative ispezionabili.

Gli autori collocano questo lavoro come un passo verso un'AI più trasparente e affidabile in ambiti ad alto rischio, dove la capacità di spiegare perché un'affermazione è incerta o falsa è importante quanto la classificazione stessa. Riconoscono le limitazioni, inclusa la mancanza di recupero di prove esterne (gli argomenti sono generati dalla conoscenza del modello) e la restrizione a framework di argomentazione di profondità 1, notando questi aspetti come direzioni per lavori futuri.