🤖 AI

Reasoning and Planning with Dynamically Changing Norms

Questo articolo introduce un approccio innovativo per guidare gli agenti AI nelle interazioni uomo-AI impiegando un calcolo non monotono per risolvere i conflitti e utilizzare norme dinamicamente variabili come guardrail durante la pianificazione, validato sia attraverso dimostrazioni formali sia mediante test empirici con un agente dialogante denominato SocialBot.

Autori originali: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

Pubblicato 2026-05-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Taylor Olson, Roberto Salas-Damian, Kenneth D. Forbus

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un assistente robot molto utile che vive nella casa di una persona. Il tuo compito è fare cose per loro, come condividere informazioni o pianificare attività. Ma c'è un problema: le persone cambiano idea, e le loro regole per te cambiano insieme a loro.

Questo articolo tratta di come insegnare a un'intelligenza artificiale a gestire queste regole in evoluzione senza confondersi o minare la fiducia.

Il Problema: Il "Manuale di Regole" che Cambia Costantemente

Pensa alle regole di una persona come a un manuale di regole vivente piuttosto che a un elenco statico.

Giorno 1: Karli ti dice: "Non mostrare mai i miei cartelle cliniche a nessuno."
Giorno 2: Si sposa e dice: "Ok, puoi mostrare le mie prescrizioni a mio marito."
Giorno 3: Ha dei figli e dice: "Ora devi dire ai miei figli le mie condizioni di salute."

Se fossi un programma informatico standard, potresti bloccarti. Se seguissi solo la prima regola, danneggeresti la sua fiducia il Giorno 2 e il Giorno 3. Se seguissi solo l'ultima regola, potresti aver violato la prima. L'articolo chiede: Come fa un'intelligenza artificiale a tenere il passo con questo bersaglio mobile?

La Soluzione: "Barriere di Sicurezza" e un "Calcolatore Defeasibile"

Gli autori hanno creato un'intelligenza artificiale chiamata SocialBot per risolvere questo problema. Non hanno dato al bot solo un elenco di regole; gli hanno fornito un modo speciale di pensare chiamato "calcolo defeasibile".

Ecco come funziona usando semplici analogie:

1. Il Concetto della "Barriera di Sicurezza"

Immagina che l'intelligenza artificiale stia guidando un'auto. Il "piano" è il percorso che vuole intraprendere. Le "norme" (regole) sono le barriere di sicurezza ai lati della strada.

L'intelligenza artificiale non ha bisogno di essere motivata dalle regole per guidare; deve solo controllare le barriere di sicurezza prima di muoversi.
Se la barriera di sicurezza dice "Non attraversare", l'auto si ferma.
Se la barriera di sicurezza dice "Puoi attraversare", l'auto procede.
Fondamentalmente, queste barriere di sicurezza possono essere spostate o rimosse istantaneamente se la persona lo richiede.

2. Il "Calcolatore Defeasibile" (Il Cervello)

Questa è la parte matematica che fa funzionare le regole. "Defeasibile" è una parola sofisticata per "può essere annullato".

Pensaci come a un tribunale legale all'interno del cervello del robot:

L'Assunzione Predefinita: L'articolo afferma che per le cose sensibili (come le cartelle cliniche), il robot dovrebbe assumere "No" di default. È come una "Chiusura Proibitiva". Se non hai detto esplicitamente "Sì", il robot assume "No" per sicurezza.
Le Prove: Quando una persona dice: "Puoi dirlo a mio marito", questa è una nuova prova.
La Risoluzione del Conflitto: Cosa succede se una persona dice: "Non dirlo a nessuno" (Regola A) e in seguito dice: "Dillo a mio marito" (Regola B)?
- Il "calcolatore" del robot guarda le date. La Regola B è più recente.
- Controlla la portata. La Regola B copre lo stesso ambito della Regola A? Sì.
- Il Verdetto: La Regola B "defeasce" (annulla) la Regola A specificamente per il marito. Il robot ora sa: "Non dirlo a nessuno tranne il marito".

L'articolo dimostra matematicamente che questo sistema impedisce al robot di pensare che due cose contraddittorie siano vere contemporaneamente (ad esempio, non penserà che la condivisione sia sia "permessa" che "vietata" allo stesso tempo).

L'Esperimento: SocialBot in Azione

I ricercatori hanno testato questo sistema con SocialBot, un chatbot che parla con le persone su Microsoft Teams.

La Configurazione: Hanno creato un mondo finto con 1.536 scenari diversi. In questi scenari, gli utenti dicevano cose come "Mi piace la pizza", poi "Non dire a nessuno le mie preferenze alimentari", e infine "In realtà, puoi dirlo a Bob riguardo alla pizza".
Il Test: Una terza persona (come "Socrate") chiedeva al bot: "Cosa piace a Platone?"
Il Risultato: Il bot ha ottenuto il 100% di correttezza.
- Se la regola era "Non dirlo", il bot rispondeva: "Non posso dirlo".
- Se la regola era aggiornata a "Dillo a Bob", il bot lo diceva a Bob.
- Se la regola era "Dillo a Bob, ma non a Socrate", il bot lo diceva a Bob e rimaneva in silenzio con Socrate.

Perché Questo È Importante (Secondo l'Articolo)

La maggior parte delle intelligenze artificiali oggi (come i grandi chatbot) può avere una conversazione, ma possono essere ingannate o manipolate per violare le regole. Non hanno una base solida e matematica per perché esiste una regola o come aggiornarla quando una persona cambia idea.

Questo articolo fornisce un progetto per un'intelligenza artificiale che:

Ascolta le regole umane.
Comprende che le regole possono essere eccezioni ad altre regole.
Usa queste regole come "barriere di sicurezza" per fermarsi dal fare qualcosa che non dovrebbe, anche se vorrebbe farlo.

Cosa Non Fa (I Limiti)

Gli autori sono molto onesti su ciò che il loro robot non può ancora fare:

Gestisce le regole di una sola persona alla volta. Non può soppesare le regole della Persona A contro quelle della Persona B (ad esempio: "Mamma dice di dirlo, papà dice di non dirlo").
È stato testato su un dataset sintetico (conversazioni finte), non su drammi umani complessi del mondo reale.
Assume che il robot conosca già i fatti di base (come chi è sposato con chi) per comprendere le regole.

In breve, questo articolo insegna a un'intelligenza artificiale come essere un assistente leale ma flessibile che rispetta i tuoi desideri di privacy in evoluzione, agendo come una barriera di sicurezza intelligente che si sposta esattamente dove gli dici di farlo.

Riepilogo Tecnico: Ragionamento e Pianificazione con Norme Dinamicamente Variabili

Enunciato del Problema

Man mano che gli agenti AI si integrano negli ambienti sociali umani, devono non solo apprendere le norme umane, ma anche adattare i propri comportamenti di pianificazione per rispettare vincoli normativi in continua evoluzione. Sebbene la ricerca precedente abbia affrontato l'apprendimento e il ragionamento sulle norme all'interno di comunità di agenti artificiali, la pianificazione guidata dalle norme in contesti uomo-AI è stata poco esplorata, in particolare per quanto riguarda la natura dinamica delle norme. Gli approcci esistenti, come i Modelli Linguistici di Grande Dimensione (LLM), spesso mancano di una fondazione teorica per il ragionamento normativo e si sono rivelati suscettibili alla manipolazione. Inoltre, le norme umane non sono statiche; evolvono attraverso nuove testimonianze (ad esempio, un utente che inizialmente vieta la condivisione di informazioni, per poi consentirla successivamente in condizioni specifiche). La sfida fondamentale è fornire un meccanismo formale che permetta a un'IA di risolvere i conflitti tra queste norme in evoluzione e di utilizzarle come "guardrail" per vincolare la pianificazione delle azioni in modo sicuro.

Metodologia

Il documento propone un approccio formale fondato sul calcolo dei predicati e sulla logica non monotona (defeasible logic) per modellare, ragionare e pianificare con norme dinamicamente variabili.

1. Rappresentazione Formale

Ontologia: Il sistema utilizza l'ontologia NextKB (derivata da OpenCyc) per rappresentare il mondo. La conoscenza è contestualizzata mediante micro-teorie, permettendo al sistema di tracciare le credenze specifiche di diversi agenti.
Frame Normativi: Le testimonianze normative (affermazioni in linguaggio naturale che introducono norme) sono codificate come Frame Normativi. Un frame normativo è composto da:
- context: Una congiunzione di letterali che devono essere veri affinché la norma sia attiva.
- behavior: Una congiunzione di letterali che rappresenta l'azione.
- evaluation: Un operatore deontico ( $\in$ {Obbligatorio, Opzionale, Impermissibile}).
Piani Guidati dalle Norme: I piani sono formalizzati come Reti Gerarchiche di Attività (HTN) in cui le credenze normative fungono da precondizioni (guardrail). Un piano viene eseguito solo se le attuali credenze normative dell'agente considerano l'azione permissibile.

2. Calcolo Non Monotono per la Risoluzione dei Conflitti

Il contributo principale è un calcolo non monotono che deduce le attuali credenze normative di un agente da un flusso di testimonianze potenzialmente conflittuali. Il sistema risolve i conflitti basandosi su:

Ordinamento Temporale: Le norme più recenti generalmente prevalgono su quelle più vecchie.
Conseguenza e Sussunzione: Il sistema analizza la relazione logica tra i comportamenti e i contesti delle norme conflittuali (conflitti Diretti, Indiretti e Intersecanti).
Assunzioni di Chiusura: Il sistema opera sotto una delle due assunzioni di default:
- Chiusura Proibitiva: Le azioni sono impermissibili di default, a meno che non siano esplicitamente permesse (utilizzata per dati sensibili).
- Chiusura Permissiva: Le azioni sono permissibili di default, a meno che non siano esplicitamente vietate.

Il calcolo utilizza clausole di Horn e la negazione per fallimento (uninferredSentence) per determinare se un permesso o un divieto viene "sconfitto" da una norma successiva e conflittuale. Ad esempio, nell'ambito della Chiusura Proibitiva, un successivo divieto può sconfiggere un precedente permesso se i fondamenti di applicazione del divieto sussumono quelli del permesso.

3. Implementazione Empirica: SocialBot

L'approccio è stato implementato in SocialBot, un agente di dialogo AI costruito sull'Architettura Cognitiva Companion.

Dominio: Condivisione di informazioni e privacy.
Interazione: Gli utenti interagiscono tramite Linguaggio Naturale (NL). SocialBot traduce il NL in rappresentazioni semantiche utilizzando il sistema di Comprensione del Linguaggio Naturale Companion (CNLU).
Flusso di Lavoro:
1. Gli utenti insegnano le preferenze (ad esempio, "Mi piace l'AI").
2. Gli utenti forniscono testimonianze normative (ad esempio, "Devi condividere i miei interessi sull'AI" oppure "Non condividere i miei cartelle cliniche").
3. Gli utenti interrogano il bot (ad esempio, "Cosa piace a Karli?").
4. SocialBot tenta di eseguire un piano per rispondere. Prima di eseguire, verifica se l'azione (condividere le informazioni) è permissibile secondo le attuali credenze normative dinamicamente aggiornate.

Contributi Chiave

Calcolo Non Monotono per i Conflitti Normativi: Una logica formale per risolvere i conflitti nelle testimonianze normative, gestendo conflitti diretti, indiretti e intersecanti basati sull'ordinamento temporale e sulla sussunzione logica.
Framework di Pianificazione Guidata dalle Norme: Un metodo per trattare le credenze normative in continua evoluzione come guardrail (precondizioni) per la pianificazione AI, assicurando che le azioni vengano eseguite solo quando permesse.
Validazione Teorica: Dimostrazioni formali che provano che il calcolo deduce correttamente le credenze normative, garantendo che un comportamento non possa essere dedotto come sia permissibile sia impermissibile nello stesso contesto.
Valutazione Empirica: Una valutazione effettuata utilizzando un dataset sintetico di 1.536 casi di dialogo che coprono tutte le permutazioni di conflitti normativi, introduzioni di preferenze e interrogazioni.

Risultati

Teorici: Le dimostrazioni formali (Teoremi 1–4) confermano che le regole di inferenza gestiscono correttamente i tre tipi di conflitti normativi (Diretti, Indiretti, Intersecanti) sotto entrambe le assunzioni di chiusura Proibitiva e Permissiva. Il sistema garantisce la coerenza: se un comportamento è dedotto come permissibile, non può essere simultaneamente dedotto come impermissibile.
Empirici: Nell'esperimento con SocialBot, l'agente ha risposto correttamente al 100% delle interrogazioni sulle preferenze attraverso i 1.536 casi di dialogo sintetici.
- I risultati sono stati statisticamente significativi ( $p < .01$ ), rifiutando l'ipotesi nulla secondo cui le prestazioni fossero dovute al caso fortuito.
- L'agente ha aggiornato con successo la propria comprensione delle norme sulla privacy degli utenti basandosi su nuove testimonianze e ha aderito a queste credenze aggiornate quando ha deciso se condividere informazioni.

Significato e Affermazioni

Il documento afferma di fornire un approccio teoricamente fondato per guidare i piani AI con norme dinamicamente variabili in contesti uomo-AI. La sua rilevanza risiede nel:

Superare l'apprendimento statico delle norme per passare a un adattamento dinamico, permettendo agli agenti di rispettare i desideri umani in evoluzione (ad esempio, un utente che cambia idea sulla condivisione delle cartelle cliniche).
Fornire una fondazione formale per il ragionamento normativo che evita la manipolabilità e la mancanza di rigore teorico presenti in alcuni approcci basati su LLM.
Dimostrare che le norme possono fungere da efficaci guardrail, riducendo le obbligazioni e le norme discrezionali a permessi che agiscono come precondizioni per l'esecuzione del piano.

Gli autori segnalano alcune limitazioni, tra cui l'attuale focalizzazione sulle norme di un singolo agente (non sul bilanciamento multi-agente), la dipendenza dalla conoscenza di sfondo per la conseguenza logica e l'uso di un dataset sintetico. Inquadrano questo lavoro come un passo verso guardrail adattivi per gli agenti AI, assicurando che le loro azioni rimangano coerenti con le aspettative normative umane.