Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

Titolo

Riscrittura Sintetica come Moltiplicatore di Qualità: Evidenze dal Pre-addestramento Continuato in Portoghese

1. Il Problema

I Large Language Models (LLM) hanno mostrato progressi significativi, ma questi sono disuguali tra le lingue. Per lingue come il portoghese, i corpus monolingue di alta qualità e su larga scala sono scarsi. Addestrare modelli da zero è spesso impraticabile; la strategia comune è il pre-addestramento continuato su modelli già addestrati in inglese, utilizzando piccoli volumi di dati nella lingua target.
La domanda di ricerca centrale è: è possibile amplificare i benefici di questi dati limitati attraverso trasformazioni sintetiche (riscrittura) invece che attraverso la semplice raccolta di più dati? In particolare, quanto la qualità del dato originale influenza l'efficacia della riscrittura sintetica? Esiste un'interazione tra la qualità della fonte e la trasformazione sintetica che sia dipendente dalla scala del modello?

2. Metodologia

Gli autori hanno condotto uno studio controllato utilizzando il corpus portoghese ClassiCC-PT, annotato con punteggi di qualità STEM ed Educativa (da 0 a 5).

• Costruzione dei Dataset:

  • Sono stati creati due sottoinsiemi distinti da 10 miliardi di token ciascuno:
    1. Alta qualità: Documenti con punteggi STEM/Educativi > 2.5.
    2. Bassa qualità: Documenti con punteggi tra 0.5 e 2.0.
  • Per ogni sottoinsieme, è stata applicata una riscrittura sintetica su larga scala utilizzando un modello istruito da 7B parametri (Qwen-2.5-7B).
  • Ogni documento è stato riscritto in 4 stili diversi:
    1. Easy: Semplificazione lessicale e sintattica.
    2. Medium: Stile enciclopedico (simile a Wikipedia).
    3. Hard: Versione tecnica e formale.
    4. QA: Trasformazione in formato Domanda-Risposta.
  • Questo processo ha generato circa 30 miliardi di token sintetici per condizione, che sono stati concatenati con i 10B token originali, portando a un totale di 40B token unici per condizione di addestramento.

• Modelli di Base:
  Sono stati testati due modelli pre-addestrati in inglese di dimensioni diverse:

  1. 1.1B parametri (derivato da TinyLLaMA).
  2. 7B parametri (derivato da LLaMA-2).
     Nota: Non è stata effettuata alcuna adattamento del tokenizer.

• Addestramento e Valutazione:

  • I modelli sono stati sottoposti a pre-addestramento continuato su ciascuna condizione.
  • Per garantire un budget computazionale equo, le condizioni senza riscrittura hanno utilizzato gli stessi 10B token originali ripetuti per più epoche fino a raggiungere il budget di 40B token.
  • Benchmark: Valutazione su PoETa V2, un benchmark portoghese completo con 44 task (comprensione del testo, ragionamento, conoscenza generale, ecc.).
  • Metrica: Normalized Performance Metric (NPM), che scala i risultati su una scala da 0 a 100.

3. Risultati Chiave

I risultati mostrano un'interazione complessa tra qualità dei dati, riscrittura e scala del modello.

A. Scala 7B (Modello LLaMA-2)

• Effetto Moltiplicatore: La riscrittura agisce come un potente moltiplicatore per i dati di alta qualità.
  • Dati Alta Qualità + Riscrittura: Guadagno significativo di +3.4 NPM rispetto ai dati originali non modificati (41.0 vs 37.7).
  • Dati Bassa Qualità + Riscrittura: Guadagno marginale di soli +0.5 NPM.
• Interpretazione: La riscrittura non compensa efficacemente la scarsa qualità della fonte; amplifica invece i dati già curati.
• Analisi per Categoria:
  • I task di Esami e Contenuti specifici del Brasile mostrano il divario più ampio tra alta e bassa qualità.
  • La categoria Etica beneficia della riscrittura indipendentemente dalla qualità originale.
  • La Conoscenza Generale mostra un caso interessante: i dati originali (non riscritti) hanno talvolta performato meglio, suggerendo che la riscrittura possa talvolta distorcere i fatti.

B. Scala 1.1B (Modello TinyLLaMA)

• Interazione Debole: L'effetto moltiplicatore è molto meno consistente.
• Paradosso delle Prestazioni: I dati di bassa qualità non riscritti hanno performato in modo competitivo, talvolta superiore, rispetto ai dati di alta qualità riscritti.
• Ipotesi: I modelli più piccoli potrebbero non avere la capacità di sfruttare le trasformazioni strutturali complesse introdotte dalla riscrittura, oppure beneficiano maggiormente della diversità superficiale dei dati web grezzi (non filtrati) rispetto a dati riscritti più omogenei.

4. Contributi Principali

1. Dimostrazione dell'Interazione Qualità-Riscrittura: Il lavoro prova che la riscrittura sintetica non è una soluzione universale per "ripulire" dati scadenti. Funziona principalmente come un moltiplicatore di qualità: i dati devono essere già di buona qualità per trarre vantaggio dalla riscrittura.
2. Dipendenza dalla Scala (Scale-Dependency): L'efficacia della riscrittura è fortemente dipendente dalla dimensione del modello. È significativa a 7B parametri, ma debole o inconsistente a 1.1B parametri.
3. Studio Controllato in Portoghese: Fornisce una delle prime analisi sistematiche su come la trasformazione sintetica interagisce con la qualità dei dati in una lingua non inglese, utilizzando un benchmark specifico (PoETa V2) e un corpus annotato (ClassiCC-PT).

5. Significato e Implicazioni

• Strategia di Curazione dei Dati: Per le lingue a risorse limitate, la priorità dovrebbe rimanere la selezione e la curazione di dati di alta qualità. La riscrittura sintetica dovrebbe essere applicata dopo questa selezione per massimizzare i guadagni, non come sostituto per il filtraggio dei dati scadenti.
• Efficienza Computazionale: Avere dati sintetici non basta; la qualità della fonte è determinante. Investire in modelli di riscrittura su dati spazzatura offre ritorni marginali.
• Progettazione dei Modelli: Per modelli di piccole dimensioni (sotto i 7B), l'aggiunta di dati sintetici complessi potrebbe non essere la strategia ottimale rispetto all'uso di dati grezzi diversificati.

Limitazioni e Lavori Futuri

Lo studio si basa su singole esecuzioni (senza test di significatività statistica) e non ha ablatato i singoli stili di riscrittura o le dimensioni del modello riscrittore. I dati riscritti contengono più token unici rispetto ai baselines, il che potrebbe confondere parzialmente i risultati, sebbene l'asimmetria dei guadagni suggerisca che la qualità, non solo la quantità, sia il fattore chiave. Futuri lavori dovrebbero esplorare rapporti di miscelazione ottimali e controllare la diversità dei token.