Sintesi Tecnica: Ricerca sulla Generazione di Campioni Avversari a Livello di Parola del Tibetano Basata sul Collegamento Morfosintattico

Definizione del Problema

Sebbene l'elaborazione intelligente delle informazioni in lingua tibetana abbia fatto progressi significativi con l'emergere dei grandi modelli linguistici (ad esempio, DEEPZANG, YangGuang QingYan), la sicurezza e la robustezza di questi modelli contro gli attacchi avversari rimangono meno ricercate rispetto all'inglese e al cinese. Gli attuali metodi di attacco avversario per il tibetano si basano principalmente su perturbazioni a livello di carattere o di sillaba (ad esempio, sostituzione, inserimento o cancellazione di sillabe). Un limite critico di questi approcci è la loro negligenza verso le norme grammaticali tibetane, specificamente le regole che governano le parole funzionali (particelle che indicano il caso, il possesso, la posizione, ecc.).

Quando i metodi esistenti eseguono sostituzioni a livello di parola senza aderire al collegamento morfosintattico, i campioni avversari risultanti soffrono spesso di una rottura della logica della frase e di regole grammaticali non valide. Ad esempio, sostituire una parola di contenuto in tibetano richiede spesso un cambiamento corrispondente nella successiva parola funzionale (ad esempio, particelle genitive, ergative o locative) per mantenere la legalità grammaticale. Il mancato aggiornamento di queste parole funzionali rende il campione avversario linguisticamente invalido, riducendone l'efficacia e la qualità.

Metodologia: TWLAS-BMSL

Il documento propone TWLAS-BMSL (Generazione di Campioni Avversari del Tibetano a Livello di Parola Basata sul Collegamento Morfosintattico), un metodo progettato per generare esempi avversari di alta qualità e grammaticalmente corretti. Il framework opera sotto un paradigma di attacco white-box e consiste in quattro fasi principali:

1. Perturbazione Casuale della Parola:

   • Utilizzando una Base di Conoscenza dei Sememi Tibetani costruita (contenente 32.745 voci), il metodo identifica le parole di contenuto nel testo originale.
   • Associa casualmente queste parole con alternative semanticamente simili dalla base di conoscenza.
   • Viene eseguita una sostituzione di singola parola per creare un testo perturbato che preservi il più possibile il significato semantico originale.

2. Rilevamento e Correzione delle Parole Funzionali:

   • Riconoscendo che le profonde relazioni semantiche tibetane sono organizzate attraverso le parole funzionali, il metodo impiega un algoritmo di rilevamento e correzione dell'attaccamento delle parole funzionali.
   • Dopo la sostituzione di una parola chiave, l'algoritmo analizza dinamicamente la categoria grammaticale della nuova parola (ad esempio, se agisce come soggetto agente o se richiede una specifica marcatura del caso).
   • Aggiorna automaticamente le successive parole funzionali (genitive, ergative, locative e suffissi nominali personali) per allinearle alle regole grammaticali tibetane (specificamente le regole dei "Trenta Versi" riguardanti le lettere dei suffissi).

3. Ricostruzione:

   • Il sistema ricostruisce la frase integrando la parola chiave semanticamente simile con le parole funzionali grammaticalmente corrette.

4. Esecuzione dell'Attacco:

   • Il campione avversario finale ricostruito viene inserito nel modello target per indurre una classificazione errata.

Contributi Chiave

Gli autori evidenziano tre contributi primari:

• Metodo di Collegamento Morfosintattico: La proposta di un metodo di generazione avversaria a livello di parola che incorpora esplicitamente il collegamento morfosintattico, garantendo che le parole funzionali si adattino automaticamente per corrispondere alle parole di contenuto sostituite. Ciò migliora la robustezza dei modelli linguistici tibetani contro gli attacchi di perturbazione white-box.
• Algoritmi di Adattamento Automatico: L'instaurazione di criteri e algoritmi per l'adattamento e l'aggiornamento automatico delle parole funzionali tibetane durante la perturbazione, affrontando una lacuna nelle attuali strategie di attacco incentrate su cinese e inglese.
• Base di Conoscenza dei Sememi Tibetani: La costruzione di una specializzata Base di Conoscenza dei Sememi Tibetani con 32.745 voci, specificamente progettata per facilitare esperimenti avversari a livello di parola nel testo tibetano.

Risultati Sperimentali

Lo studio ha valutato il metodo TWLAS-BMSL su quattro dataset (TNCC, TU_SA, QHNUTSA, MZUCTSA) che coprono compiti di classificazione del testo e analisi del sentiment. I modelli target includevano TiBERT, CINO-base-v2 e CINO-large.

• Efficacia dell'Attacco:

  • Il metodo ha causato una Diminuzione Media dell'Accuratezza (ADV) del 2,69% tra i modelli.
  • Il Tasso Medio di Successo dell'Attacco (ASR) ha raggiunto il 28,83%.
  • La Distanza di Levenshtein (LD) media era del 6,80%, indicando che gli attacchi richiedevano perturbazioni relativamente piccole per essere efficaci.
  • Il modello CINO-base-v2 ha mostrato la massima sensibilità all'attacco, mentre CINO-large ha dimostrato la maggiore robustezza.

• Prestazioni della Correzione Grammaticale:

  • Nel compito di adattamento automatico e correzione degli errori per le parole funzionali, il metodo ha raggiunto il 100% in tre metriche chiave:
    • Tasso di rilevamento degli errori delle parole funzionali.
    • Accuratezza complessiva.
    • Tasso di successo della correzione completa delle frasi errate.

• Analisi Qualitativa:

  • Senza il collegamento morfosintattico, i campioni generati contenevano spesso errori grammaticali che rompevano la logica della frase. Con il metodo proposto, i campioni avversari hanno mantenuto il rigore grammaticale pur confondendo con successo i modelli target.

Significato e Rivendicazioni

Il documento sostiene che il metodo TWLAS-BMSL proposto affronta efficacemente il problema della "logica sintattica imprecisa" negli attuali attacchi avversari tibetani. Garantendo che le parole funzionali siano aggiornate in sincronia con le sostituzioni delle parole di contenuto, il metodo garantisce il rigore logico grammaticale dei campioni generati.

Gli autori affermano che questo approccio non solo induce con successo i modelli a prendere decisioni di classificazione errate, ma assicura anche la qualità del testo degli esempi avversari, rendendoli indistinguibili dal testo naturale in termini di correttezza grammaticale. Ciò è presentato come un passo cruciale verso il miglioramento della sicurezza e della robustezza dei grandi modelli linguistici tibetani.

Il documento conclude con modestia, riconoscendo limitazioni come la dimensione finita della Base di Conoscenza dei Sememi costruita (32.745 voci) e la scarsità di grandi modelli specifici per il tibetano per i test. Si suggerisce come lavoro futuro l'applicazione di questo metodo ai grandi modelli linguistici tibetani per migliorare ulteriormente le loro capacità anti-interferenza.