CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

1. Il Problema

Il paper affronta la sfida della classificazione della chiarezza delle risposte in interviste politiche, un compito centrale nell'analisi del discorso computazionale e nella comunicazione politica. L'obiettivo è distinguere automaticamente tra tre categorie di risposta:

1. Risposta Chiara (Clear Reply): La domanda viene affrontata direttamente.
2. Ambivalente (Ambivalent): La risposta è evasiva, vaga o non fornisce una conclusione chiara.
3. Non-Risposta Chiara (Clear Non-Reply): Rifiuto esplicito di rispondere o dichiarazione di ignoranza.

La difficoltà risiede nella natura sottile delle variazioni pragmatiche e nelle strategie di evasione (come il "dodging" o il "deflection") utilizzate dai politici per evitare di rispondere direttamente alle domande scomode.

2. Metodologia

Gli autori propongono un sistema eterogeneo a due stadi che combina ensemble di modelli linguistici (LLM) con un meccanismo di correzione post-hoc innovativo.

Fase 1: Ensemble Eterogeneo Dual-Model

Il sistema di base (Stage 1) non classifica direttamente le tre categorie di chiarezza, ma adotta una strategia "evasione-first":

• Modelli Utilizzati: Due LLM eterogenei, Grok-4-1-fast-reasoning e Gemini-3-flash-preview, vengono eseguiti in parallelo.
• Self-Consistency (SC): Per ciascun modello, vengono generati $k=5$ campioni di risposta utilizzando il prompting Chain-of-Thought (CoT).
• Classificazione a 9 Livelli: I modelli classificano inizialmente la risposta in 9 categorie fini di evasione (es. Explicit, Implicit, Dodging, Deflection, ecc.).
• Mappatura Deterministica: Le 9 categorie di evasione vengono mappate deterministicamente alle 3 categorie finali di chiarezza. Questa mappatura funge da "buffer di errore", poiché il 62,8% degli errori a livello di evasione rimane comunque all'interno della stessa categoria di chiarezza finale.
• Voto Ponderato Asimmetrico: Le previsioni vengono aggregate tramite un voto ponderato. Grok, avendo mostrato maggiore accuratezza individuale, riceve 5 voti (uno per ogni campione SC), mentre Gemini contribuisce con un blocco di voto unico con peso $w=4$.

Fase 2: Deliberative Complexity Gating (DCG)

Per gestire i campioni difficili e ambigui dove i modelli non concordano, viene introdotto un meccanismo di correzione post-hoc chiamato DCG.

• Idea Chiave: L'ipotesi è che la lunghezza della risposta di un LLM e la sua coerenza interna siano proxy affidabili per l'ambiguità. Le risposte ambigue tendono a essere più lunghe e meno coerenti.
• Segnali Cross-Model: Il DCG utilizza segnali comportamentali da entrambi i modelli per ridurre il bias di un singolo modello:
  1. Lunghezza di risposta di Gemini: È il discriminatore più forte. Le risposte ambigue sono significativamente più lunghe.
  2. Coerenza Self-Consistency di Grok: Misura la stabilità delle previsioni di Grok sui 5 campioni.
• Logica del Gate: Il gate si attiva (e corregge la previsione) solo quando entrambi i segnali indicano incertezza:
  • La lunghezza media delle risposte di Gemini supera il primo quartile ($Q_{25}$) calcolato dinamicamente sul batch corrente.
  • La coerenza di Grok è inferiore a 1.0 (indicando disaccordo tra i campioni).
• Azione di Correzione: Se il gate si attiva, la contribuzione di Gemini al voto finale viene sovrascritta forzatamente con la classe Ambivalente, sfruttando l'ipotesi che le risposte lunghe e incoerenti siano più probabilmente ambigue.
• Vantaggio: Il DCG è transductive e non richiede training aggiuntivo o chiamate API extra; si adatta alla distribuzione del batch di inferenza.

3. Contributi Chiave

1. Strategia Eterogenea: L'uso di due modelli diversi (Grok e Gemini) riduce gli errori correlati e fornisce segnali di disaccordo più robusti rispetto all'uso di multipli agenti dello stesso modello.
2. Deliberative Complexity Gating (DCG): Un meccanismo innovativo che utilizza segnali comportamentali osservabili (lunghezza e coerenza) per modulare adattivamente la complessità deliberativa senza costi computazionali aggiuntivi significativi.
3. Analisi del Dibattito Multi-Agente: Gli autori hanno confrontato il loro approccio con strategie di "debate" (dibattito) tra agenti. Hanno scoperto che, per questo compito, l'eterogeneità statica con fusione ponderata è più efficace dell'aumento della capacità deliberativa tramite dibattiti iterativi tra agenti identici.
4. Performance di Stato dell'Arte: Il sistema ha raggiunto il 3° posto su 41 partecipanti, dimostrando l'efficacia di combinare ensemble eterogenei con gate adattivi.

4. Risultati

• Punteggio Finale: Macro-F1 di 0.85 sul set di valutazione cieco (blind evaluation).
• Miglioramento:
  • L'ensemble di base (Stage 1) ha ottenuto un Macro-F1 di 0.8122.
  • L'aggiunta del DCG (Stage 2) ha aumentato il punteggio a 0.8505, un miglioramento di circa +3.8 punti percentuali.
  • L'accuratezza è passata dall'81.0% all'84.4%.
• Analisi degli Errori:
  • La maggior parte degli errori residui (86.8%) si concentra sul confine tra "Risposta Chiara" e "Ambivalente", una zona intrinsecamente difficile anche per gli annotatori umani.
  • Il DCG ha dimostrato di essere particolarmente efficace nel corregere i casi in cui i modelli erano in disaccordo, migliorando la robustezza su campioni ambigui.
  • L'analisi ha mostrato che le risposte "Ambivalenti" sono significativamente più lunghe delle risposte chiare, confermando l'ipotesi alla base del DCG.

5. Significato e Implicazioni

Questo lavoro dimostra che per compiti di classificazione di discorsi politici complessi, non è necessario aumentare la potenza computazionale tramite dibattiti multi-agente costosi. Invece, è più efficace:

1. Sfruttare la diversità dei modelli (eterogeneità).
2. Utilizzare segnali comportamentali (come la lunghezza della risposta) come indicatori di incertezza.
3. Implementare meccanismi di gate adattivi che correggono le previsioni solo quando necessario, basandosi sulla distribuzione dei dati in tempo reale.

Il sistema offre un approccio scalabile ed efficiente per rilevare l'evasione politica, con potenziali applicazioni nel fact-checking automatizzato, nell'analisi dei media e nella ricerca sulle comunicazioni politiche. Le limitazioni principali includono la dipendenza da modelli proprietari e la necessità di inferenza in batch per il calcolo delle soglie adattive.