Sintesi Tecnica: Verso un'Assegnazione del Credito Vincolata ai Valori in Cooperative AI Completamente Delegate

1. Definizione del Problema

Il documento affronta la sfida dell'allocazione dei premi nei cooperative di IA completamente delegate. In questo scenario, molteplici membri umani sono rappresentati da agenti autonomi che aggregano dati e computazione per addestrare servizi di IA condivisi. La difficoltà principale risiede nel soddisfare due requisiti simultanei e accoppiati:

1. Vincoli di Valore: L'apprendimento deve rispettare vincoli di valore eterogenei (ad esempio, divieti di impiego militare, punteggio del rischio assicurativo o requisiti di equità demografica) specifici per ogni membro.
2. Incentivi Economici: I benefici economici del servizio risultante devono essere distribuiti in base al contributo effettivo.

Gli approcci esistenti spesso non riescono a accoppiare questi requisiti. Una regola di ricompensa che ignora i vincoli di valore potrebbe compensare i membri per aggiornamenti che essi non approverebbero, mentre il comune conteggio del contributo nel Federated Learning (FL) opera tipicamente su aggiornamenti aggregati, rendendo difficile tracciare e filtrare specifiche direzioni di aggiornamento basate sui profili di valore individuali prima che il contributo venga misurato.

2. Metodologia

Gli autori propongono un framework che integra il Filtraggio del Gradiente Condizionato al Valore, l'Apprendimento di Traversamento (TL) e i Segnali di Contributo Marginale Online.

2.1 Filtraggio Condizionato al Valore

Ad ogni iterazione $t$, un agente $i$ che possiede dati locali $D_i$ e un profilo di valore $v_i$ calcola un gradiente locale $\nabla L_i(\theta_t)$. Prima che questo aggiornamento venga propagato, esso passa attraverso un filtro di valore $F_i$:
$$\tilde{\nabla} L_i(\theta_t) = F_i(\nabla L_i(\theta_t), v_i)$$
Il gradiente filtrato $\tilde{\nabla} L_i$ rappresenta la parte ammissibile dell'aggiornamento. Questo filtro può assumere varie forme, inclusi controlli costituzionali basati su regole, proiezioni di insiemi ammissibili, modifiche del gradiente o modelli di ammissibilità black-box appresi. Se una direzione di aggiornamento viola i valori del mandante, essa viene rifiutata (impostata a zero), garantendo che solo gli aggiornamenti coerenti con i valori contribuiscano al modello cooperativo.

2.2 Substrato di Apprendimento di Traversamento (TL)

Il framework utilizza l'Apprendimento di Traversamento (TL) come substrato di addestramento. A differenza del Federated Learning standard (es. FedAvg) che aggrega gli aggiornamenti dei client post-hoc, il TL esegue la backpropagation decentralizzata preservando espliciti percorsi di traversamento e di gradiente attraverso i nodi distribuiti.

• Meccanismo: L'aggiornamento cooperativo è definito come $\theta_{t+1} = \theta_t - \eta \sum_{i=1}^n \tilde{\nabla} L_i(\theta_t)$.
• Vantaggio: Mantenendo percorsi di gradiente espliciti e specifici per ogni agente anziché semplici stati aggregati dei client, il TL permette un tracciamento più trasparente dal percorso che va dall'esposizione dei dati locali all'aggiornamento ammissibile fino all'effetto cooperativo. Questa chiarezza strutturale è sostenuta essere superiore per l'attribuzione in contesti vincolati ai valori rispetto al FL centrato sull'aggregazione.

2.3 Contributo Marginale e Liquidazione

Il framework definisce il contributo e l'allocazione della ricompensa attraverso un processo multi-fase:

1. Segnale di Credito Online: Il contributo $c_i^t$ dell'agente $i$ al tempo $t$ è definito come il miglioramento marginale della perdita di validazione cooperativa $L_{val}$ indotto esclusivamente dall'aggiornamento ammissibile dell'agente:
   $$c_i^t = L_{val}(\theta_t) - L_{val}(\theta_t - \eta \tilde{\nabla} L_i(\theta_t))$$
   Se il filtro rifiuta l'aggiornamento ($\tilde{\nabla} L_i = 0$), il contributo è zero.
2. Liquidazione Cumulativa: Su un orizzonte contabile $H$, i contributi vengono accumulati con un eventuale pesatura $\omega_t$:
   $$C_i(H) = \sum_{t \in H} \omega_t c_i^t$$
3. Allocazione dei Ricavi: Le quote di ricavo $r_i(H)$ sono allocate in base ai contributi cumulativi, utilizzando un parametro di potenza $\alpha \ge 1$ per accentuare le differenze:
   $$r_i(H) = \frac{(C_i(H))^\alpha}{\sum_{j=1}^n (C_j(H))^\alpha}$$
   Il pagamento finale $p_i(H)$ è la quota del ricavo totale $R(H)$. Gli agenti sono ricompensati solo per gli aggiornamenti che sono sia ammissibili che migliorativi rispetto alla validazione.

3. Contributi Chiave

• Integrazione del Framework: Il documento integra il filtraggio degli aggiornamenti condizionato al valore, l'attribuzione basata su TL, i segnali di contributo online e la liquidazione cooperativa cumulativa in un unico meccanismo di apprendimento distribuito.
• Pluralismo al Livello del Gradiente: Introduce un meccanismo in cui gli agenti ammettono o rifiutano selettivamente le direzioni di aggiornamento (pluralismo), anziché interi compiti, permettendo vincoli di valore eterogenei all'interno di un modello condiviso.
• Substrato di Attribuzione: Gli autori sostengono che il TL offra un substrato di attribuzione più fine e trasparente rispetto al FedAvg-style FL perché preserva percorsi di traversamento espliciti, consentendo la misurazione del contributo solo dopo la verifica dell'ammissibilità del valore.
• Operazionalizzazione del Pluralismo: Il framework trasforma il pluralismo dell'allineamento da un obiettivo teorico in un meccanismo di allocazione del credito durante il tempo di addestramento.

4. Risultati e Rivendicazioni

Il documento è principalmente una proposta teorica e architettonica; non presenta risultati sperimentali empirici o confronti di benchmark. Al contrario, pone le seguenti rivendicazioni riguardo alle proprietà del framework:

• Fattibilità: Il framework consente il calcolo di segnali di credito locali ad ogni step, garantendo che la liquidazione cumulativa rimanga ben definita anche se la convergenza globale verso un singolo ottimo è imperfetta a causa di vincoli di valore eterogenei.
• Privacy ed Efficienza: Gli autori suggeriscono una variante del framework (indicata come "TLplus") che potrebbe posizionare solo uno strato di taglio o un blocco frontale superficiale presso gli agenti membri, trasmettendo attivazioni mascherate a un orchestratore. Ciò mira a preservare i benefici di attribuzione del TL riducendo al contempo i costi lato client e limitando la fuga di informazioni, attingendo alla partizione in stile SplitNN.
• Posizionamento: Gli autori dichiarano esplicitamente di non pretendere di superare la valutazione in stile Shapley in termini di equità o gli esistenti meccanismi di incentivo del FL. La loro rivendicazione si limita all'argomento che il TL fornisce un substrato più trasparente per connettere l'ammissibilità del valore, la contabilità del contributo e l'allocazione della ricompensa.

5. Significato

La significanza di questo lavoro risiede nel tentativo di risolvere il problema "accoppiato" dei vincoli di valore e degli incentivi economici nelle cooperative di IA. Rifiutando l'idea di collassare valori eterogenei in un unico obiettivo, il framework rende il pluralismo operativo all'interno delle dinamiche di apprendimento. Propone uno spostamento dall'aggregazione post-hoc (dove il contributo è difficile da tracciare) alla traversazione esplicita (dove il contributo è tracciabile e filtrabile), offrendo una potenziale via verso strutture di incentivi sostenibili per cooperative di IA diverse e vincolate ai valori.