Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification

1. Il Problema

Il lavoro affronta la sfida di classificare le disclosure aziendali (comunicati finanziari, rapporti trimestrali, ecc.) per prevedere la direzione dei rendimenti azionari del giorno successivo. Sebbene i Large Language Models (LLM) in modalità zero-shot (senza addestramento specifico sul compito) siano capaci di analizzare testi finanziari, le loro previsioni tendono a essere instabili e variabili a seconda del prompt, dello stile di ragionamento e della famiglia di modelli utilizzata.

In particolare, le disclosure aziendali spesso contengono segnali contrastanti (es. risultati operativi forti ma prospettive future deboli, o crescita dei ricavi accompagnata da rischi legali). Un singolo agente zero-shot potrebbe sovrappesare un aspetto specifico a causa dell'enfasi del prompt, fallendo nel catturare l'equilibrio complessivo del testo. Il paper si chiede se il disaccordo tra agenti zero-shot possa essere trasformato da un punto debole in una caratteristica utile per migliorare la classificazione.

2. Metodologia

L'autore propone un framework multi-agente leggero che non richiede il fine-tuning dei modelli di base, ma addestra solo un aggregatore.

• Architettura Multi-Agente:
  Vengono utilizzati tre agenti zero-shot indipendenti, ciascuno con un prompt specifico che enfatizza una diversa "lente" finanziaria:

  1. Agente delle Prestazioni (Performance): Si concentra su risultati operativi realizzati (utili, ricavi, margini, costi).
  2. Agente delle Prospettive (Guidance): Si concentra su indicazioni future, outlook della gestione e revisioni delle aspettative.
  3. Agente del Rischio (Risk): Si concentra su incertezza, contenziosi, regolamentazione, liquidità e rischi al ribasso.

• Output degli Agenti:
  Ogni agente analizza la stessa disclosure e restituisce una tupla:

  • Etichetta di sentiment ($l_k \in \{-1, 0, +1\}$).
  • Punteggio di confidenza ($c_k \in [0, 1]$), derivato dalle probabilità dei token generati o da un campo numerico vincolato.
  • Una breve motivazione (rationale).
    I modelli utilizzati includono Qwen2.5 (3B e 72B) e Llama-3.2 (3B).

• Aggregazione Appresa:
  Gli output degli agenti vengono convertiti in un vettore di caratteristiche ($z(x)$) che include:

  • Le tre etichette e i tre punteggi di confidenza.
  • L'etichetta di maggioranza e i conteggi delle etichette.
  • Il numero di agenti concordi.
  • Il divario di confidenza tra i due agenti più sicuri.
  • Tre feature di interazione che indicano quale agente (Prestazioni, Guida o Rischio) è il più sicuro.

  Un classificatore meta-logistico (regressione logistica con regolarizzazione L2) viene addestrato su questi vettori per prevedere la direzione del rendimento azionario del giorno successivo. I modelli LLM di base rimangono congelati (frozen).

• Dataset:
  Il dataset comprende 18.420 disclosure aziendali statunitensi (Nasdaq e S&P 500) emesse tra il 2018 e il 2024. I dati sono stati suddivisi cronologicamente (60% training, 20% sviluppo, 20% test) per evitare data leakage e simulare un ambiente di deployment reale. L'obiettivo è binario: il rendimento del giorno successivo è positivo (1) o no (0).

3. Contributi Chiave

Il paper apporta tre contributi principali alla letteratura NLP e finanziaria:

1. Setup Multi-Agente Compatto: Introduce un framework zero-shot per la classificazione delle disclosure che sfrutta prospettive finanziarie specializzate (Prestazioni, Guida, Rischio) senza addestramento sui modelli base.
2. Validazione dell'Aggregazione Addestrata: Dimostra che un aggregatore supervisionato supera sia gli agenti singoli che le regole di voto semplici (maggioranza o voto ponderato per la confidenza) nella classificazione out-of-sample.
3. Analisi del Disaccordo: Mostra che l'aggregazione è particolarmente efficace quando i segnali sono misti o conflittuali, trasformando il disaccordo strutturato in un segnale informativo piuttosto che in rumore.

4. Risultati

I risultati sperimentali mostrano che l'aggregatore addestrato supera tutti i baseline:

• Accuratezza Bilanciata (Balanced Accuracy): L'aggregatore raggiunge 0.612, rispetto a 0.561 per il miglior agente singolo (Agente delle Prospettive) e 0.544 per il baseline FinBERT.
• Confronto con Baseline: Supera anche il voto a maggioranza (0.573) e il voto ponderato per la confidenza (0.584).
• Analisi per Regimi di Accordo:
  • Quando tutti e tre gli agenti sono d'accordo, il guadagno dell'aggregatore è modesto.
  • In caso di disaccordo (split 2-1) o alto conflitto, l'aggregatore mostra miglioramenti significativi (da 0.558 a 0.603 nello split 2-1; da 0.517 a 0.581 in alto conflitto).
• Casi di Successo: I maggiori guadagni si osservano in disclosure che combinano prestazioni attuali forti con prospettive deboli, o crescita numerica con rischi legali/regolamentari. L'aggregatore impara a soppesare questi segnali contrastanti meglio di qualsiasi agente singolo o regola fissa.

5. Significato e Conclusione

Il lavoro dimostra che in contesti finanziari complessi, dove i testi contengono segnali competitivi, la diversità delle prospettive è cruciale. Invece di cercare un "giudice perfetto" unico, è più efficace combinare giudizi specializzati e disomogenei.

• Efficienza dei Dati: Il metodo è efficiente dal punto di vista dei dati, poiché richiede solo l'addestramento di un semplice strato di aggregazione, rendendolo ideale per scenari dove le etichette di sentiment di alta qualità sono scarse o costose da ottenere.
• Interpretabilità: L'approccio è interpretabile e robusto, offrendo una via praticabile per l'analisi del testo finanziario in condizioni zero-shot.
• Implicazione Teorica: Il paper suggerisce che il disaccordo tra agenti non è un errore da eliminare, ma una fonte di informazione strutturata che, se modellata correttamente, migliora la previsione dei mercati finanziari.

In sintesi, l'articolo valida l'ipotesi che un sistema multi-agente zero-shot, unito a un meccanismo di aggregazione supervisionato, possa catturare segnali finanziari complementari e superare i limiti dei singoli modelli o delle regole di voto naive.