Auditing longitudinal data across institutional regimes: a graph-based compatibility protocol with evidence from Tunisia

Sintesi Tecnica: Audit di Dati Longitudinali attraverso Regimi Istituzionali

Problematica
I dataset longitudinali spesso concatenano record generati sotto distinti regimi legali, amministrativi o statistici. Sebbene possa persistere una scala comune o un nome di variabile, il significato sottostante, i quadri di campionamento, le regole di codifica o le categorie legali cambiano frequentemente. Le metriche standard della qualità dei dati (es. mancanza di dati, errore di misurazione) e le tecniche statistiche (es. rilevamento di cambiamenti strutturali, invarianza di misurazione) sono insufficienti per questa specifica sfida. I metodi di cambiamento strutturale identificano cambiamenti nelle leggi stocastiche, ma non distinguono tra uno spostamento del livello amministrativo legittimo e un disaccordo fondamentale nella forma temporale. Allo stesso modo, l'invarianza di misurazione richiede modelli di variabili latenti spesso non disponibili per gli aggregati del settore pubblico. Il problema centrale è determinare quando i record di regimi successivi possano essere trattati come un unico oggetto analitico senza confondere realtà amministrative distinte.

Metodologia: Il Protocollo di Compatibilità Basato su Grafi
Il documento propone un framework di audit deterministico e ordinato che decompone il disaccordo inter-regime in componenti distinte e verificabili. Il metodo modella l'ambiente dei dati come un grafo connesso finito $G=(V, E)$, dove i vertici rappresentano gli ambienti di dati specifici per regime e gli archi rappresentano le finestre di confronto registrate.

L'audit procede attraverso quattro fasi ordinate:

1. Registrazione del Livello: Per ogni arco (coppia di regimi), il metodo stima una crosswalk di livello costante tramite minimizzazione della mediana coordinata ($L_1$ norm). Questo isola lo "spostamento di livello" dai dati.
2. Correzione Autorizzata: La differenza residua viene proiettata su un insieme convesso compatto di correzioni pre-autorizzate ($C_e$). Questo insieme consente normalizzazioni o ricodifiche dichiarate e limitate (es. un aggiustamento del 15%), ma proibisce modifiche discrezionali alle serie storiche.
3. Misurazione del Disaccordo di Forma: Il residuo dopo la registrazione e la correzione autorizzata ($D_e$) misura il disaccordo di "forma"—la parte della differenza che non può essere assorbita da una traslazione costante o da una normalizzazione dichiarata.
4. Consistenza Globale e Fattibilità:
   • Consistenza dei Cicli: Il sistema di traslazioni a coppie viene testato per la coerenza globale utilizzando matrici di incidenza di grafi. Se la somma con segno delle traslazioni attorno a un ciclo è diversa da zero, le crosswalk sono incoerenti indipendentemente dai residui dei singoli archi.
   • Lift del Record Completo: Il metodo testa se i vettori numericamente riconciliati possano essere "elevati" (lifted) a un record completo che soddisfi i vincoli amministrativi, legali e di capacità (es. non negatività, tetti di budget). Questo è formulato come un problema di fattibilità lineare; se infattibile, un certificato duale prova l'impossibilità di un valido record completo.

L'output finale non è un punteggio di qualità composito, ma una disposizione ordinata (Keep Separate [Mantieni Separato], Review [Revisiona], o Conditional Pooling [Unione Condizionata]) basata sull'entità del residuo di forma, il suo rango rispetto ai controlli intra-regime e la presenza di incompatibilità rigide.

Contributi Chiave

• Decomposizione del Disaccordo: Il documento separa rigorosamente la conversione di livello (traslazione ammissibile) dal disaccordo di forma (incompatibilità strutturale), dimostrando che un grande spostamento di livello può coesistere con un piccolo residuo, e viceversa.
• Formulazione Basata su Grafi: Adatta concetti di teoria dei fasci (accordo locale vs. esattezza globale) ai dati politici, identificando esplicitamente le inconsistenze di ciclo nelle reti di crosswalk che le diagnostiche a coppie non colgono.
• Ammissibilità Amministrativa: Introduce un test di "lift del record completo", garantendo che la riconciliazione numerica non violi vincoli legali o fisici (es. un totale riconciliato che eccede la somma dei sottocomponenti ammissibili).
• Procedura di Audit Ordinata: Il metodo impone una sequenza rigorosa in cui variabili, finestre e insiemi di correzione vengono registrati prima che i residui vengano ispezionati, prevenendo l'aggiustamento retroattivo del modello per ottenere i risultati desiderati.

Risultati Empirici: Evidenze dalla Tunisia
Il metodo è applicato a un panel trimestrale costruito per la Tunisia (2oma1Q–2019Q4) coprendo tre coordinate: fiducia istituzionale, stress da crisi e risposta politica. L'analisi si concentra su tre confini storici: Pre-Shock (2010), Shock-Transizione (2011) e Transizione-Post (2014).

• Analisi dei Residui: Dopo la registrazione del livello e la correzione limitata, il confine Shock-Transizione (2010Q4–2012Q2) ha esibito il più grande residuo di forma (0.209) in 30 delle 36 specifiche del modello. Ha superato tutti i 33 controlli pseudo-confine intra-regime.
• Contrasto con le Diagnostiche di Livello: Le diagnostiche di livello convenzionali (spostamenti di media/mediana) hanno evidenziato i confini Pre-Shock e Transizione-Post come i più prominenti. Tuttavia, il residuo di forma post-registrazione ha identificato unicamente il confine Shock-Transizione come eccezionale.
• Sensibilità: Il confine Shock-Transizione è rimasto il più eccezionale attraverso variazioni nel grado polinomiale, nelle penalità ridge e nella lunghezza delle finestre, sebbene le magnitudini assolute siano variate.
• Disposizione: In base al protocollo, il confine Shock-Transizione richiede "Keep Separate" (preservare la rottura del regime), mentre gli altri confini richiedono "Review before pooling" (revisione prima dell'unione).

Significato e Rivendicazioni
Il documento rivendica modestamente di fornire un protocollo per un'integrazione responsabile piuttosto che un'analisi causale della transizione tunisina.

• Non Causale: L'audit non stima l'effetto causale della rivoluzione o della costituzione; i confini sono istituzionalmente fissati, non stimati statisticamente.
• Separazione delle Rivendicazioni: Dimostra che la riconciliazione numerica, la compatibilità di forma, la conversione coerente e l'ammissibilità amministrativa sono proposizioni distinte. Una serie può essere numericamente riconciliata ma amministrativamente inammissibile.
• Utilità di Governance: Il metodo supporta la governance dei dati nel settore pubblico fornendo una traccia di audit trasparente e riproducibile che distingue tra legittime conversioni di livello e fondamentali incompatibilità strutturali, garantendo che i record eterogenei non vengano uniti senza giustificazione esplicita.

Lo studio conclude che la continuità computazionale (concatenazione di serie temporali) non è prova di comparabilità istituzionale. Il protocollo di audit basato su grafi proposto offre un meccanismo strutturato per verificare la compatibilità prima dell'integrazione, preservando l'integrità dell'analisi longitudinale attraverso i regimi istituzionali.