Learning Next Action Predictors from Human-Computer Interaction

Este artigo apresenta o LongNAP, um modelo de IA que prevê a próxima ação do usuário analisando seu histórico completo de interações multimodais, utilizando uma abordagem inovadora de aprendizado por contexto e reforço treinada em um novo conjunto de dados massivo de uso de smartphones.

O essencial

Imagine que você tem um assistente pessoal superinteligente, mas que, até agora, só consegue "ouvir" o que você diz quando fala com ele. Se você digita "me ajude a escrever um e-mail", ele ajuda. Mas ele não sabe por que você está escrevendo, o que você estava fazendo antes, ou como você costuma reagir a certas situações. Ele vê apenas a ponta do iceberg.

Este artigo de pesquisa (um "preprint") apresenta uma nova forma de criar assistentes que realmente entendem você. Eles não esperam você pedir ajuda; eles tentam adivinhar o que você vai fazer a seguir, baseados em tudo o que você já fez e viu no seu computador ou celular.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O Assistente Cego

Hoje, a Inteligência Artificial (IA) é como um detetive que só consegue ver o que você escreve em um bilhete. Ela não sabe que você estava triste, que acabou de receber uma notícia ruim ou que está cansado. Ela ignora o contexto completo da sua vida digital.

O objetivo dos autores é criar um sistema que olhe para tudo: as telas que você viu, os cliques que você deu, os aplicativos que você abriu e a ordem em que fez tudo isso.

2. A Solução: O "NAPsack" (A Mochila de Dados)

Para ensinar a IA a entender você, eles precisavam de dados. Mas pedir para as pessoas anotarem cada clique que fazem é impossível (ninguém tem tempo para isso).

Então, eles criaram uma ferramenta chamada NAPsack.

• A Analogia: Imagine uma câmera de segurança silenciosa que grava o que você faz no seu computador, mas em vez de gravar horas de vídeo chato, ela usa um "olho mágico" (uma IA de visão) para resumir: "O usuário clicou no botão de download, depois abriu o e-mail".
• Eles usaram isso para gravar e resumir a vida digital de 20 pessoas por um mês inteiro. Isso gerou um "livro de memórias" com mais de 360.000 ações e 1.800 horas de uso de tela. Tudo isso feito de forma passiva, sem que os usuários precisassem fazer nada além de usar seus aparelhos normalmente.

3. O Cérebro: O LongNAP (O Detetive com Memória)

Com os dados em mãos, eles criaram um modelo chamado LongNAP.

• O Problema da Memória: A IA não consegue lembrar de tudo o que você fez nos últimos 6 meses se colocar tudo na tela de uma vez (seria como tentar ler um livro inteiro de uma só vez sem piscar).
• A Solução Criativa: O LongNAP funciona como um detetive experiente com uma caixa de arquivos.
  1. Fase 1 (Pensar para Procurar): Quando você abre um aplicativo, o LongNAP pensa: "O que o usuário está fazendo agora?". Com base nisso, ele vai até a caixa de arquivos (sua memória) e busca casos antigos parecidos. "Ah, na semana passada, quando ele viu uma crítica de artigo, ele mandou mensagem para o colega."
  2. Fase 2 (Pensar para Prever): Ele pega essa informação antiga e combina com o que está acontecendo agora para prever o próximo passo. "Como ele está lendo críticas de novo, provavelmente vai mandar mensagem para o colega agora."

4. Como eles ensinaram a IA? (O Treinamento)

Eles não apenas mostraram os dados para a IA. Eles usaram um método de "tentativa e erro" inteligente.

• O Juiz: A cada vez que o LongNAP fazia uma previsão (ex: "O usuário vai abrir o Slack"), eles esperavam para ver o que a pessoa realmente fez.
• A Pontuação: Uma IA "juíza" comparava a previsão com a realidade e dava uma nota de 0 a 1. Se a IA acertasse o espírito da ação, ganhava pontos. Com o tempo, a IA aprendeu a ser cada vez mais precisa, ajustando suas "memórias" e raciocínios.

5. Os Resultados: O Assistente que "Adivinha"

Os resultados foram impressionantes:

• Precisão: Quando treinado em uma única pessoa, o LongNAP acertou muito mais do que qualquer outro método (79% melhor que os concorrentes).
• Generalização: Mesmo treinado com dados de várias pessoas, ele conseguiu se adaptar a pessoas novas, funcionando como um assistente que já conhece seus hábitos.
• A Mágica: Em cerca de 17% das vezes, a previsão da IA era tão boa que parecia que ela estava lendo a mente da pessoa. Se você filtrar apenas as previsões mais confiantes, esse número sobe para 26%.

6. Por que isso importa? (O Futuro)

Imagine um assistente que:

• Percebe que você está com dificuldade em um projeto e já abre os arquivos relevantes antes de você pedir.
• Sabe que você costuma procrastinar em certas tarefas e te dá um empurrãozinho no momento certo.
• Organiza sua vida digital baseada no que você realmente faz, não no que você diz que faz.

O Ponto de Atenção (Privacidade)

O artigo também avisa: para fazer isso, a IA precisa ver tudo o que você faz. Isso é um risco de privacidade. Os autores sugerem que, no futuro, esse processamento deve acontecer dentro do seu próprio dispositivo (seu celular ou computador), sem enviar seus dados para a nuvem, para garantir que seus segredos permaneçam seus.

Resumo da Ópera:
Os autores criaram um sistema que transforma o "rastro digital" que deixamos no computador em um mapa de comportamento. Em vez de apenas reagir aos nossos comandos, a IA aprende a antecipar nossas necessidades, agindo como um parceiro que realmente conhece nossos hábitos e intenções.

Resumo técnico

Título: Aprendendo Preditores de Próxima Ação a partir da Interação Humano-Computador

1. O Problema

Os sistemas de IA proativos atuais são limitados porque dependem quase exclusivamente de sinais esparsos de entrada (como prompts de texto) para entender o usuário. Eles não têm acesso ao contexto completo do que o usuário vê e faz em seus dispositivos. O objetivo deste trabalho é formalizar e resolver a tarefa de Predição de Próxima Ação (NAP - Next Action Prediction).

O desafio central é prever o que um usuário fará a seguir, dado um histórico temporal de interações multimodais (capturas de tela, cliques, dados de sensores, teclas pressionadas). O espaço de ações possíveis é ilimitado e varia de milhares de resultados, tornando a previsão extremamente difícil. Além disso, coletar e anotar dados de comportamento natural em grande escala é caro e impraticável se depender de anotação manual ativa dos usuários.

2. Metodologia

O trabalho aborda o problema em duas frentes principais: coleta de dados e modelagem.

A. Coleta e Anotação de Dados (NAPsack)
Para superar a escassez de dados rotulados, os autores desenvolveram o NAPsack, um pipeline de código aberto para coleta passiva e anotação de dados:

• Coleta Passiva: O sistema registra continuamente capturas de tela e eventos de E/S (cliques, movimentos do mouse, teclas) sem exigir esforço ativo do usuário.
• Compressão e Agrupamento: Os eventos são agrupados em "rajadas" de interação. As capturas de tela são salvas apenas antes e depois dessas interações para economizar armazenamento.
• Anotação com VLMs: Um Modelo de Linguagem e Visão (VLM) processa os dados comprimidos (janelas de 60 quadros) para gerar descrições de ações em linguagem natural de alto nível (ex: "Clicou na pasta Downloads").
• Validação: O pipeline foi validado usando um "Juiz LLM" (Gemini 3.0 Flash) e avaliação humana, demonstrando que a compressão baseada em eventos reduz o armazenamento em ~75% sem perder qualidade, e que a inclusão de dados de E/S melhora significativamente a precisão das anotações.
• Dataset: Foi criado um conjunto de dados com 360.000 ações anotadas a partir de 20 usuários, cobrindo um mês de uso contínuo de smartphones (1.800 horas de tempo de tela).

B. Modelo: LongNAP (Long-context Next Action Predictor)
Para modelar esses dados, os autores propõem o LongNAP, um modelo que combina aprendizado paramétrico e aprendizado em contexto (in-context learning) para raciocinar sobre históricos longos.

• Arquitetura em Duas Fases:
  1. Raciocínio para Recuperar (Reasoning to Retrieve): Dado o contexto atual, o modelo gera um "rastro de raciocínio" (chain-of-thought) que serve como consulta para buscar em uma memória de rastros passivos (observações e inferências anteriores do mesmo usuário).
  2. Raciocínio para Prever (Reasoning to Predict): O modelo integra os rastros recuperados para refinar seu raciocínio e gerar a previsão da próxima ação.
• Treinamento: O modelo é treinado de ponta a ponta usando Gradiente de Política (Policy Gradient), especificamente o algoritmo GRPO.
• Função de Recompensa: Utiliza um "Juiz LLM" para calcular a similaridade semântica entre a trajetória prevista e a ação real que o usuário executou no futuro (esperar e ver o que acontece). Isso permite otimizar o modelo diretamente para a precisão da previsão.
• Memória: O modelo mantém um banco de dados de rastros de raciocínio que são atualizados iterativamente, permitindo que o modelo aprenda padrões específicos do usuário ao longo do tempo.

3. Principais Contribuições

1. NAPsack: Um pipeline open-source para coleta passiva e anotação em escala de dados de interação humano-computador, eliminando a necessidade de anotação manual.
2. LongNAP: Um novo modelo de IA que utiliza recuperação de memória e raciocínio em contexto para prever ações futuras baseadas em históricos multimodais longos.
3. Dataset de Longo Prazo: A liberação de um conjunto de dados anotado com 360k ações de 20 usuários reais.
4. Validação de Viabilidade: Demonstração de que prever ações futuras com base no contexto total do comportamento do usuário é uma tarefa viável e com grande potencial.

4. Resultados

Os resultados foram avaliados em dois cenários: generalização temporal (mesmo usuário) e generalização cruzada (novos usuários).

• Desempenho em Usuário Único:

  • O LongNAP superou significativamente as linhas de base.
  • 79% de melhoria em relação ao Supervised Fine-Tuning (SFT) em modelos abertos (Qwen-2.5-VL-7B).
  • 39% de melhoria em relação a modelos prompted (zero-shot e few-shot) e também superou modelos fechados como o Gemini 3.0 Flash.
  • Na avaliação humana, o LongNAP venceu 79% das comparações contra outros métodos.

• Generalização para Novos Usuários:

  • Quando treinado em múltiplos usuários, o LongNAP generalizou para novos usuários não vistos, superando as linhas de base em 13% (em relação ao melhor baseline de few-shot RAG).

• Precisão Absoluta:

  • O espaço de ações é vasto, mas 17,1% das trajetórias previstas pelo LongNAP tiveram uma pontuação de similaridade ≥ 0,5 (bem alinhadas com a realidade).
  • Ao filtrar apenas as previsões de alta confiança, essa taxa sobe para 26%.

• Ablações:

  • A remoção do componente de raciocínio causou a maior queda de desempenho (-19,2%).
  • A remoção do retriever (recuperador) também degradou o desempenho (-15,2%), confirmando que a recuperação de contexto histórico é crucial.
  • A ordem temporal dos dados de treinamento é importante; embaralhar os dados reduz o desempenho.

5. Significado e Implicações

• IA Proativa Realista: O trabalho demonstra que é possível construir assistentes que antecipam necessidades do usuário baseando-se no comportamento real (o que o usuário faz), e não apenas no que o usuário diz (prompts).
• Privacidade e Descentralização: O artigo discute a tensão entre a necessidade de dados sensíveis para personalização e a privacidade. Propõe que, à medida que os modelos ficam menores e mais eficientes, o treinamento e a inferência podem ocorrer localmente no dispositivo do usuário (on-device), mitigando riscos de privacidade.
• Alinhamento e Ética: Os autores alertam para o risco de "alinhamento" incorreto, onde o modelo poderia aprender e reforçar hábitos negativos (ex: procrastinação). Futuras pesquisas devem focar em alinhar essas previsões com os valores e objetivos reais do usuário, não apenas com seus hábitos passados.
• Futuro: O trabalho abre caminho para assistentes pessoais verdadeiramente contextuais que podem executar tarefas autônomas ("SleepWalk") baseadas em previsões precisas do que o usuário pretende fazer a seguir.

Em resumo, o artigo estabelece um novo paradigma para modelagem de usuários, movendo-se de interações baseadas em prompts para uma compreensão profunda e contínua do comportamento digital humano, viabilizada por novas técnicas de coleta de dados passivos e arquiteturas de modelos que raciocinam sobre memórias de longo prazo.