Riepilogo Tecnico: InvestPhilBench

Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati come assistenti alla ricerca d'investimento, eppure gli esistenti benchmark finanziari non riescono a valutare se i modelli siano in grado di ricostruire e applicare accuratamente i specifici framework decisionali procedurali degli investitori esperti. Gli attuali benchmark si concentrano sul recupero fattuale (es. FinanceBench), sul ragionamento numerico (es. FinQA) o sugli esiti decisionali basati su agenti (es. INVESTORBENCH). Essi non testano se un modello comprenda la logica sequenziale, condizionale e dei "criteri di arresto" (kill-criterion) che definisce la filosofia di un investitore (ad esempio, il "Cerchio di Competenza" di Warren Buffett o la logica dipendente dal regime di Ray Dalio).

Il documento sostiene che la conoscenza della filosofia d'investimento sia distinta dal calcolo finanziario o dal recupero di documenti perché è procedurale, attribuita, contraddittoria e comparativa. I modelli spesso falliscono per:

• Omissione dei Criteri di Arresto (Kill Criteria): Procedere con l'analisi dopo un passaggio che dovrebbe invece terminare il processo (ad esempio, valutare il rapporto P/E di un'azienda farmaceutica nonostante essa sia al di fuori del cerchio di competenza di Buffett).
• Appiattimento delle Operazionalizzazioni: Confondere definizioni distinte di concetti condivisi (ad esempio, applicare lo screening meccanico "net-net" di Graham a una domanda riguardante il "margine di sicurezza" di Buffett).
• Conflazione Temporale: Fondere posizioni storiche contraddittorie (ad esempio, il rifiuto delle compagnie aeree da parte di Buffett nel 2001 rispetto al suo acquisto di esse nel 2016).
• Diffusione della Voce: Mescolare le distinte personalità analitiche di diversi investitori.

Metodologia

1. Tassonomia Cognitiva (L1–L8)

InvestPhilBench introduce una tassonomia cognitiva a otto livelli per valutare la profondità del ragionamento:

• L1–L3 (Recupero Fattuale): Identificazione dei principi, attribuzione della fonte e richiamo dell'operazionalizzazione.
• L4–L5 (Ricostruzione Procedurale): Ricostruzione di processi decisionali multi-step nell'ordine corretto e confronto tra framework di diversi investitori.
• L6–L8 (Applicazione Generativa): Riconoscimento di contraddizioni, applicazione di framework a scenari nuovi ed estrapolazione verso sviluppi macroeconomici imprevisti.

2. Architettura del Dataset (v0.6)

Il rilascio comprende un dataset verificato tramite fonti primarie:

• 118 Schede di Principi: Principi d'investimento risolti dai revisori con criteri operativi espliciti e citazioni delle fonti.
• 25 Schede di Framework Decisionali: Rappresentazioni strutturate in JSON dei processi decisionali degli investitori, annotate con metadati topologici (es. linear_sequential, parallel_threshold, conditional_branch) e logica di gate.
• 243 Domande QA: 197 domande di sviluppo e 46 domande di test (held-out), incluse 8 domande di difficoltà "expert" mirate a specifici pattern di fallimento a livello di gate.
• Gold Reasoning Programs (GRP): Per le domande L4 e L7, il dataset include "programmi gold" strutturati che definiscono l'esatta sequenza di gate, i verdetti (PROCEED/REJECT/INCONCLUSIVE) e gli elementi richiesti, consentendo la doppia valutazione dell'esecuzione (verdetto finale) e dell'accuratezza del programma (percorso di ragionamento).

3. Protocollo di Valutazione

Il benchmark impiega un design a tre condizioni per scomporre i gap di prestazione:

• Condizione A (Closed-book): Testa la conoscenza pre-addestrata.
• Condizione B (PKB-augmented/RAG): Testa il ragionamento aumentato dal recupero utilizzando le top-3 schede di principi recuperate.
• Condizione C (Oracle): Testa l'applicazione procedurale iniettando l'esatta scheda del framework di verità fondamentale (ground-truth).

4. Pipeline di Valutazione Automatica (BASP)

Per sostituire le rubriche qualitative, il documento introduce la Benchmark Automated Scoring Pipeline (BASP), composta da cinque metriche algoritmiche:

1. OGRS (Ordered Gate Reconstruction Score): Penalizza sia la mancanza di gate sia l'ordine errato.
2. KCCS (Kill Criterion Coverage Score): Misura la copertura F1 delle specifiche condizioni che innescano un "kill" (rifiuto).
3. SAP@k (Source Attribution Precision): Valuta l'attribuzione a livello di entità, documento e contesto.
4. IVP (Investor Voice Precision): Utilizza gli embedding per garantire che la risposta del modello mantenga la specifica firma lessicale e concettuale dell'investitore attribuito.
5. CKCA (Compound Kill Criterion Accuracy): Valuta i framework istituzionali con criteri di arresto multi-componente.

Inoltre, l'algoritmo Failure Mode Detection Protocol (FMDP) rileva algoritmicamente sei modalità di fallimento (es. Hallucinated Gate, Temporal Conflation) con regole computabili. Una metrica più rigorosa, la Gate Reconstruction Accuracy (GRA), valuta la ricostruzione per singolo gate (nome, verdetto, elementi) per esporre i deficit mascherati dai punteggi compositi.

Risultati Chiave (Sanity Wave v0.6)

Il documento riporta una preliminare "sanity wave" (W1) che valuta quattro modelli (Claude Sonnet 4.6, GPT-5.5, Gemini Flash Lite, Gemini 3.5 Flash) sotto la Condizione A (closed-book) utilizzando un setup a giudice misto.

• Divisione per Tier del Provider: I modelli frontier (Claude, GPT) superano significativamente i modelli a basso costo (Gemini) in tutti i livelli, con un crollo netto al livello L8 per questi ultimi.
• Divergenza tra Composito e GRA:
  • Saturazione del Composito: Il punteggio composito BASP per i modelli frontier è elevato (es. Claude L4 = 0.932), mostrando l'assenza di un "cliff" tra i livelli fattuali (L3) e quelli procedurali (L4). Ciò suggerisce che il punteggio composito premia la prosa fluente e nasconde i gap procedurali.
  • Deficit Procedurale Esposto dalla GRA: Quando valutati con la più rigorosa Gate Reconstruction Accuracy (GRA), i modelli frontier subiscono un calo significativo (L4 GRA ≈ 0.77; L7 GRA ≈ 0.57–0.62). Questo rivela un residuo deficit procedurale in cui i modelli nominano correttamente i gate ma falliscono nella ricostruzione dei criteri di arresto o della logica del verdetto.
• Modalità di Fallimento: Le modalità di fallimento più frequenti sono l'Omissione del Criterio di Arresto (FM-3, 42.5%) e l'Appiattimento dell'Operazionalizzazione (FM-5, 35.0%). I modelli frontier mostrano tassi di questi fallimenti inferiori rispetto ai modelli a basso costo, che mostrano alti tassi di collasso procedurale.
• Pilot a Tre Condizioni: Un piccolo pilota (n=10) suggerisce che, sebbene fornire la fonte corretta (Oracle) migliori i punteggi rispetto al closed-book (Knowledge Gap), il recupero mirato (Condizione B) a volte supera l'iniezione del framework completo (Condizione C), probabilmente a causa della distrazione del contesto lungo. Un Application Gap residuo persiste anche con la fonte corretta nel contesto.

Significato e Rivendicazioni

Il documento posiziona InvestPhilBench come un contributo di benchmark e metodologia piuttosto che come un definitivo leaderboard di modelli. Le sue rivendicazioni principali sono:

1. Innovazione Metodologica: È il primo benchmark a valutare la ricostruzione procedurale di framework d'investimento esperti, andando oltre il richiamo fattuale o la valutazione basata sugli esiti.
2. Design delle Metriche: Dimostra che il punteggio composito satura al livello frontier, mascherando i deficit procedurali. La metrica Gate Reconstruction Accuracy (GRA) è presentata come lo strumento necessario per esporre tali deficit, distinguendo tra prosa fluente e corretta logica dei gate.
3. Tassonomia delle Modalità di Fallimento: Fornisce una tassonomia quantificata di errori sistematici (es. Temporal Conflation, Voice Diffusion) con regole di rilevamento algoritmico, offrendo un framework diagnostico per il miglioramento dei modelli.
4. Resistenza alla Contaminazione: Attraverso la perturbazione dinamica (sostituzione di metriche, spostamento temporale) e un protocollo di confine di carriera del "living investor", il benchmark mira a resistere alla contaminazione dei dati dai corpora di pre-addestramento.

Gli autori dichiarano esplicitamente che i risultati empirici presentati sono una "preliminary sanity wave" destinata a testare il design delle metriche. Il completo leaderboard multi-modello, i risultati de-confounded con giudice unificato e gli studi sulla affidabilità umana sono rimandati alla release v1.0. Il documento conclude che distinguere la vera comprensione procedurale dal recupero tramite pattern matching è critico per l'impiego sicuro degli LLM nella finanza istituzionale, e InvestPhilBench fornisce l'infrastruttura per rendere questa distinzione.