NOEM$^{3}$A: a Neuro-symbolic Ontology-Enhanced Method for Multi-intent understanding in Mobile Agents

Riepilogo Tecnico: NOEM3A

Problema

Gli agenti mobili che operano sui dispositivi affrontano un compromesso critico: devono mappare richieste in linguaggio naturale in azioni eseguibili a più intenti sotto vincoli rigorosi di latenza, memoria e privacy. Sebbene i Large Language Models (LLM) siano parser semantici efficaci, l'implementazione locale per agenti mobili è spesso inefficiente a causa dell'elevata pressione sulla memoria e sui costi computazionali, mentre l'inferenza basata su cloud introduce rischi per la privacy e latenze di coda (tail latency). Inoltre, scalare i parametri del modello per migliorare la comprensione degli intenti non è sempre la strategia più efficiente. La sfida centrale è ottenere una comprensione del linguaggio naturale (NLU) accurata, reattiva e preservante la privacy per compiti a più intenti (ad esempio, "prenota un taxi e ricordamelo") utilizzando modelli compatti senza fare affidamento sulla generazione aperta su testi arbitrari.

Metodologia: NOEM3A

Il documento propone NOEM3A (Neuro-symbolic Ontology-Enhanced Method for Multi-intent understanding in Mobile Agents), uno strato neuro-simbolico leggero progettato per potenziare i modelli di linguaggio compatti con un'ontologia esplicita degli intenti. Il metodo opera attraverso il seguente processo:

1. Rappresentazione dell'Ontologia degli Intenti:
   Lo spazio delle azioni è formalizzato come un'ontologia diretta $O = (V, E)$, dove i nodi rappresentano domini, categorie e intenti eseguibili. Gli archi codificano relazioni tipizzate (ad esempio, IS-A, RELATED-TO). Ogni nodo contiene un'etichetta, una descrizione e un embedding generato da un encoder leggero.

2. Recupero del Sottografo (Subgraph Retrieval):
   Per una data query dell'utente $q$, il sistema calcola un embedding e classifica i nodi dell'ontologia per similitudine del coseno. Recupera un piccolo vicinato specifico per la query $G_q$ (un sottografo) espandendo i primi-$K$ candidati per includere genitori, figli o fratelli. Questo sottografo recuperato funge sia da contesto di input che da vincolo di output.

3. Prompting Potenziato dall'Ontologia:
   Le etichette candidate recuperate vengono serializzate in un prompt strutturato. Ciò trasforma il compito da generazione non vincolata a un problema di selezione, in cui il modello deve scegliere uno o più intenti da un elenco fornito di etichette ontologiche plausibili.

4. Prior di Decoding a Livello di Token:
   Durante l'inferenza, il sistema applica un bias di decoding ai logit del modello. I token corrispondenti alle etichette nel sottografo recuperato $G_q$ ricevono un bias positivo ($\beta$), mentre i token per etichette non correlate ricevono una lieve penalità ($-\gamma$). Questo inietta una struttura simbolica nella distribuzione di output, regolarizzando il modello affinché emetta etichette valide per l'ontologia senza forzare un intento se la query non lo supporta.

5. Classificatore Ausiliario (Opzionale):
   Quando sono disponibili dati etichettati, un classificatore multi-label può essere collegato allo stato nascosto (hidden state) aggregato del modello. La predizione finale fonde le etichette generate con l'output del classificatore, utile per piattaforme con log curati.

6. Metriche di Valutazione:
   La metrica primaria è l'Exact Match (EM) e lo Slot-F1. Inoltre, il documento introduce la Semantic Intent Similarity (SIS), un diagnostico consapevole della gerarchia basato sulla profondità dell'ontologia (ispirato alla similitudine di Wu e Palmer). SIS misura quanto una predizione di intento sia vicina alla verità fondamentale (ground truth) all'interno dell'ontologia, fungendo da segnale di debugging piuttosto che da metrica di successo primaria.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Inferenza Guidata dall'Ontologia Formalizzata: Uno strato strutturato per la NLU mobile a più intenti che sposta parte del carico di ragionamento dalla generazione parametrica a un piccolo lookup simbolico ispezionabile.
2. Contabilità Focalizzata sulla Latenza: Una chiara separazione dell'overhead dello strato simbolico (recupero e bias di decoding) dall'inferenza neurale, dimostrando che il costo aggiunto è minimo.
3. Validazione Empirica: Evidenza che la guida simbolica migliora le prestazioni dei modelli compatti (TinyLlama e Llama-3.2-3B) in termini di Exact Match e Slot-F1 senza richiedere un generatore più grande.

Risultati Sperimentali

Il metodo è stato valutato su dialoghi MultiWOZ 2.3, mappati su etichette di intenti mobili.

• Guadagni di Performance:

  • TinyLlama: L'aggiunta di NOEM3A ha migliorato l'Exact Match (EM) di 8,6 punti (14,6 $\to$ 23,2) e lo Slot-F1 di 18,6 punti (36,7 $\to$ 55,3).
  • Llama-3.2-3B: L'aggiunta dello strato ontologico ha migliorato l'EM di 12,9 punti (22,8 $\to$ 35,7) e lo Slot-F1 di 14,0 punti (58,8 $\to$ 72,8).
  • Studi di Ablazione: I risultati indicano che il recupero unito al prompting condizionato dall'ontologia è il principale contributore ai guadagni. Il biasing dei logit migliora ulteriormente la fedeltà delle etichette, e il classificatore ausiliario fornisce un guadagno finale marginale.

• Overhead di Latenza:

  • Il recupero da un'ontologia di 5.000 nodi ha richiesto 2,1 ± 0,3 ms.
  • Scalando a 50.000 nodi, il recupero è salito a 3,8 ms.
  • Il masking dei logit per fino a 32 token ha aggiunto < 0,1 ms.
  • Gli autori sottolineano che questi non sono benchmark universali per dispositivi, ma dimostrano che lo strato simbolico aggiunge solo ritardi su scala millesimale.

• Robustezza:

  • Le variazioni nella formulazione dei prompt (ordine delle etichette, suggerimenti del compito, esempi) hanno prodotto fluttuazioni di EM di circa un punto, suggerendo che il sistema si basa sul set di etichette recuperato piuttosto che su una formulazione fragile.

Significato e Rivendicazioni

Il documento posiziona NOEM3A come una strategia pratica focalizzata sull'efficienza piuttosto che come una scoperta centrata sulle metriche. La sua importanza risiede in:

• Efficienza tramite Vincoli: Invece di rendere il modello linguistico stesso più economico, NOEM3A migliora l'accuratezza del compito ottenuta da un modello piccolo fornendo un compatto prior simbolico. Sfrutta il fatto che le azioni degli agenti mobili sono solitamente note in anticipo, permettendo all'ontologia di fungere sia da schema per il pianificatore che da spazio di etichette vincolato.
• Ispezionabilità e Debugging: L'interfaccia simbolica facilita la localizzazione degli errori. Gli sviluppatori possono determinare se un errore deriva da un fallimento del recupero, da una svista della generazione o dal filtraggio del classificatore. La metrica SIS aiuta a diagnosticare se il sistema ha selezionato il ramo errato all'interno di un ramo pertinente o un ramo completamente diverso.
• Complementarità: L'approccio è complementare alle tecniche esistenti di compressione e pruning dei modelli. Riduce la necessità di scalare la dimensione del modello per compiti di intenti strutturati, consentendo a modelli quantizzati o specializzati per mobile di beneficiare del recupero ontologico indipendentemente dalla loro architettura interna.
• Privacy e Reattività: Mantenendo l'inferenza locale e aggiungendo una latenza minima, il metodo supporta una NLU on-device che preserva la privacy, adatta per interazioni mobili in tempo reale.

Gli autori mantengono un tono modesto, riconoscendo limitazioni quali la dipendenza dal dataset MultiWOZ 2.3 (anziché da tracce mobili naturali), la necessità di ontologie sottoposte a revisione umana e l'assunzione che le etichette degli intenti mappino su brevi span di token. Enfatizzano che il lavoro futuro dovrà validare il meccanismo su tracce reali di agenti mobili e profili hardware più ampi.