Sabiá-4 Technical Report

Titolo: Sabiá-4: Una nuova generazione di modelli linguistici per il Portoghese con focus sul diritto brasiliano

1. Il Problema

I modelli linguistici esistenti spesso presentano compromessi significativi tra costi, prestazioni e specializzazione di dominio, in particolare per quanto riguarda la lingua portoghese (con un focus specifico sul portoghese brasiliano) e settori complessi come quello legale.
Le sfide principali identificate includono:

• Mancanza di specializzazione legale: Difficoltà nella stesura accurata di documenti legali, decisioni giudiziarie e interpretazione della legislazione brasiliana.
• Limiti nel contesto lungo: Necessità di gestire documenti estesi (fino a 128K token) mantenendo la coerenza e la capacità di recupero delle informazioni (retrieval).
• Costi elevati: I modelli di punta (frontier models) offrono alte prestazioni ma a costi proibitivi per l'implementazione su larga scala.
• Capacità agentiche: Difficoltà nel seguire istruzioni complesse, nell'uso di strumenti (tool use) e nella navigazione web per compiti multi-step.

2. Metodologia

I modelli sono stati sviluppati attraverso una pipeline di addestramento in quattro fasi, utilizzando Google Cloud TPUs (v5p e v6e) e il framework JAX:

1. Pre-addestramento Continuo (Continued Pre-training):

   • Partendo da un modello base generico, è stato effettuato un addestramento continuo su un vasto corpus in lingua portoghese.
   • Inclusione cruciale: È stato integrato un corpus specifico del diritto brasiliano per migliorare la comprensione normativa fin dalle fasi iniziali.
   • Filtraggio dati: È stata utilizzata una pipeline di elaborazione dati che include filtraggio della qualità, scoring di rilevanza e riscrittura dei documenti.

2. Estensione del Contesto (Long-Context Extension):

   • Addestramento specifico su documenti naturalmente lunghi per estendere la finestra contestuale fino a 128.000 token.
   • Utilizzo di fonti dati curate per garantire la capacità di gestire contesti estesi senza degradazione delle prestazioni.

3. Fine-Tuning Supervisionato (SFT):

   • Addestramento su dataset di istruzioni diversificati che coprono: chat, codice, compiti legali, follow-up delle istruzioni e chiamate di funzioni (function calling).
   • Sviluppo di dati sintetici per migliorare le capacità agentiche e il richiamo di funzioni.
   • Espansione dei dati per conversazioni multi-turno per migliorare la coerenza nei dialoghi estesi.

4. Allineamento delle Preferenze (Preference Alignment):

   • Fase finale per affinare lo stile di scrittura, migliorare la comprensione delle sfumature linguistiche e garantire una maggiore rigidità nel rispetto dei formati richiesti.

3. Contributi Chiave

• Sabiá-4 e Sabiazinho-4: Due nuovi modelli ottimizzati per il portoghese brasiliano, con Sabiazinho-4 che rappresenta una versione più leggera ed economica.
• Specializzazione Legale: Un approccio innovativo che integra dati legali durante il pre-addestramento, risultando superiore rispetto ai modelli precedenti nella stesura di atti giudiziari e decisioni legali.
• Capacità Agentiche: Miglioramenti significativi nell'uso di strumenti, navigazione web e completamento di task complessi in ambienti simulati (es. acquisto biglietti, transazioni Pix).
• Efficienza Costo-Prestazioni: Posizionamento strategico nella regione "in alto a sinistra" del grafico costo-prestazioni, offrendo prestazioni competitive a una frazione del costo dei modelli concorrenti.

4. Risultati e Valutazione

I modelli sono stati valutati su sei categorie di benchmark principali:

• Diritto Brasiliano:

  • OAB-Bench (Stile Avvocato): Sabiá-4 ha ottenuto un punteggio di 7.49 (vs 6.33 di Qwen3 e 7.30 di GPT-4.1), dimostrando eccellente capacità di stesura legale.
  • Magis-Bench (Stile Giudice): Punteggio di 5.08, con un miglioramento significativo rispetto alle generazioni precedenti.
  • Conoscenza delle Leggi: Sabiá-4 ha raggiunto il 97.4% di accuratezza sulla conoscenza delle leggi federali brasiliane, superando nettamente tutti i modelli concorrenti (il secondo migliore, Gemini-3 Pro, ha ottenuto l'88.6%).

• Contesto Lungo:

  • Su MRCR (Multi-Round Co-reference Resolution), Sabiá-4 e Sabiazinho-4 mostrano una capacità superiore nel tracciare e collegare informazioni distribuite su contesti fino a 128K token, superando le generazioni precedenti.

• Seguimento Istruzioni e Conversazione:

  • Multi-IF: Alta accuratezza nel seguire istruzioni che si accumulano su più turni di conversazione (82.0%).
  • BRACEval: Miglioramento nella capacità conversazionale in portoghese brasiliano, con un tasso di vittoria contro GPT-4o del 53.8% (vs 44.6% di Sabiá-3.1).

• Capacità Agentiche:

  • Su benchmark come Ticket-Bench e Pix-Bench, i modelli dimostrano una forte capacità di pianificazione e uso degli strumenti, con Sabiá-4 che ottiene un 72.2% di successo, avvicinandosi alle prestazioni dei modelli frontier più costosi.

• Esami Standardizzati:

  • Punteggio del 86.6% su 13 esami brasiliani (ENEM, OAB, Revalida, ecc.), indicando una solida conoscenza generale.

5. Significato e Impatto

Il rapporto evidenzia che Sabiá-4 e Sabiazinho-4 rappresentano un punto di svolta per l'adozione di IA nel mercato brasiliano e lusofono:

• Democratizzazione dell'Accesso: Offrono prestazioni di livello "frontier" a costi drasticamente inferiori, rendendoli ideali per implementazioni industriali (RAG, assistenti legali, automazione).
• Dominio Legale: Stabiliscono un nuovo standard per l'elaborazione del linguaggio naturale nel diritto brasiliano, riducendo il divario tra modelli generici e specialisti legali.
• Scalabilità: La combinazione di contesto lungo (128K), capacità agentiche e basso costo li rende candidati ideali per flussi di lavoro strutturati e applicazioni reali complesse.

In sintesi, questi modelli dimostrano che la specializzazione di dominio tramite pre-addestramento continuo su corpora specifici (come quello legale) può superare i limiti dei modelli generici, offrendo un'alternativa economicamente sostenibile e tecnicamente superiore per il mercato portoghese.