Quick on the Uptake: Eliciting Implicit Intents from Human Demonstrations for Personalized Mobile-Use Agents

1. Il Problema

L'automazione delle attività mobili tramite agenti basati su modelli linguistici multimodali (MLLM) sta avanzando rapidamente. Tuttavia, gli approcci esistenti per migliorare questi agenti tramite l'apprendimento da dimostrazioni umane presentano due limiti fondamentali:

1. Focus sulle intenzioni esplicite: I metodi attuali si concentrano esclusivamente sui flussi di intenzione espliciti (es. sequenze di passaggi, logica operativa), ignorando i flussi di intenzione impliciti (es. preferenze personali, abitudini comportamentali).
2. Mancanza di personalizzazione e valutazione: Le istruzioni degli utenti nel mondo reale sono spesso ambigue e specifiche per l'utente. Attualmente non esistono dataset o benchmark capaci di valutare il livello di allineamento tra un agente mobile e le intenzioni umane specifiche. Inoltre, addestrare un agente separato per ogni utente tramite fine-tuning è impraticabile per costi e scalabilità.

2. Metodologia: IFRAgent e MobileIAR

Per affrontare queste sfide, gli autori propongono due pilastri principali: un nuovo dataset e un nuovo framework.

A. MobileIAR (Dataset)

È il primo dataset e benchmark open-source progettato specificamente per valutare l'Intention Alignment Rate (IAR) (Tasso di Allineamento delle Intenzioni).

• Composizione: Contiene 945 istruzioni su 16 app diverse, coprendo 7 scenari quotidiani, sia per utenti anglofoni che cinesi.
• Struttura Unica: Per ogni istruzione, il dataset fornisce due tipi di dati:
  1. Azioni allineate all'intento umano: La singola azione che meglio riflette la preferenza specifica dell'utente (misura l'allineamento).
  2. Lista Ground Truth (GT): Un insieme di azioni corrette che portano al completamento del task (misura la capacità generale di completamento).
• Raccolta: Realizzata tramite crowdsourcing in due round: il primo per raccogliere le preferenze individuali (intento umano) e il secondo per definire le azioni corrette generali (GT).

B. IFRAgent (Framework)

IFRAgent è un modulo "plug-and-play" che migliora gli agenti mobili esistenti senza richiedere fine-tuning per utente. Si basa sul riconoscimento dei flussi di intenzione (espliciti e impliciti) dalle dimostrazioni umane. Il processo è diviso in due fasi:

1. Fase di Estrazione del Flusso di Intenzione:

   • Analizza le dimostrazioni umane per estrarre due componenti:
     • Flusso Esplicito: Genera una libreria vettoriale di Procedure Operative Standard (SOP) a livello di query.
     • Flusso Implicito: Costruisce un repository di abitudini a livello utente, catturando le preferenze comportamentali latenti.

2. Fase di Deployment:

   • Quando un utente invia una query ambigua, il sistema:
     • Recupera la SOP più simile tramite RAG (Retrieval-Augmented Generation).
     • Utilizza un Estrattore di SOP per generare una procedura dettagliata.
     • Impiega un Rewriter di Query (addestrato tramite Knowledge Distillation da modelli grandi come GPT-4o) per riscrivere la query originale e la SOP, integrando le abitudini specifiche dell'utente dal repository.
   • L'agente mobile finale riceve la query riscritta e la SOP personalizzata per eseguire l'azione.

3. Contributi Chiave

1. MobileIAR: Introduzione del primo benchmark per testare l'allineamento delle intenzioni specifiche per l'utente nel campo degli agenti mobili, fornendo metriche sia per il completamento del task che per la personalizzazione.
2. IFRAgent: Un framework innovativo che sfrutta sia i flussi di intenzione espliciti che impliciti dalle dimostrazioni umane per generare query e SOP personalizzate, migliorando l'interazione agente-utente.
3. Validazione Sperimentale: Dimostrazione che IFRAgent supera i metodi basati su dimostrazione tradizionali, specialmente nei modelli di dominio generale, con miglioramenti significativi sia nella完成任务 (SR) che nell'allineamento (IAR).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 8 diversi agenti mobili (sia open-source che closed-source) utilizzando il dataset MobileIAR.

• Miglioramenti Generali: IFRAgent ha portato a un miglioramento medio assoluto del 6,56% nel tasso di allineamento delle intenzioni (IAR) e del 5,50% nel tasso di successo passo-passo (SR). In termini relativi, ciò corrisponde a un miglioramento del 28,80% per l'IAR e del 24,20% per la SR.
• Impatto sui Modelli: I modelli di dominio generale (es. Qwen2.5-VL, GPT-4o) hanno mostrato miglioramenti più significativi rispetto ai modelli specializzati pre-addestrati per il mobile. Questo perché i modelli generali possiedono una conoscenza del mondo più ampia per comprendere le intenzioni implicite, mentre i modelli specializzati tendono a dimenticare tale conoscenza durante l'addestramento specifico.
• Analisi di Scalabilità: I miglioramenti sono più evidenti per modelli di dimensioni medie (7B-32B). I modelli molto piccoli (3B) mancano delle capacità di seguire le istruzioni, mentre i modelli molto grandi (72B) hanno già buone capacità di esecuzione, ma IFRAgent migliora comunque la loro capacità di allineamento alle intenzioni.
• Efficienza: L'overhead temporale è minimo poiché la riscrittura della query e la generazione della SOP avvengono una sola volta per query tramite un modello leggero (Qwen3-4B).

5. Significato e Impatto

Questo lavoro sposta il paradigma degli agenti mobili da una semplice automazione di task a un'interazione personalizzata e intuitiva.

• Superamento delle limitazioni attuali: Risolve il problema dell'ambiguità delle istruzioni umane incorporando le preferenze implicite dell'utente direttamente nel processo decisionale dell'agente.
• Scalabilità: Offre una soluzione pratica per la personalizzazione senza la necessità di addestrare modelli specifici per ogni utente, rendendo fattibile la creazione di assistenti mobili veramente "su misura".
• Fondazione per la ricerca: Con MobileIAR, la comunità di ricerca ottiene ora uno strumento standardizzato per valutare non solo se un agente completa un compito, ma quanto bene lo fa rispettando lo stile e le preferenze dell'utente.

In sintesi, IFRAgent dimostra che l'analisi combinata di intenzioni esplicite e implicite dalle dimostrazioni umane è la chiave per creare agenti mobili più intelligenti, adattivi e allineati alle reali esigenze degli utenti.