MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está contratando um assistente pessoal para ajudar a gerenciar sua vida. Você não daria a ele uma mesa novinha, vazia, sem arquivos, sem fotos e sem memória de quem você é, certo? Você esperaria que ele soubesse sua cafeteria favorita, o saldo da sua conta bancária, suas próximas férias e o aniversário de um amigo.
O Problema: O Teste da "Mesa Vazia"
Atualmente, os testes que usamos para ver se os computadores de IA são inteligentes o suficiente para serem assistentes pessoais são como dar a eles essa mesa vazia. A IA é solicitada a realizar tarefas em um computador que não possui histórico, contas logadas ou dados pessoais. É como pedir a alguém para "pedir o seu jantar de costume" quando a pessoa não tem ideia de quem você é ou do que você costuma pedir.
O artigo argumenta que isso é uma enorme lacuna. Assistentes pessoais reais precisam navegar em uma vida digital que é bagunçada, interconectada e cheia de histórico pessoal.
A Solução: MYPCBENCH (A Simulação de "Michael Scott")
Para corrigir isso, os pesquisadores criaram um novo teste chamado MYPCBENCH. Em vez de uma mesa vazia, eles criaram uma vida digital totalmente povoada para um personagem específico: Michael Scott, do seriado The Office.
Pense nisso como construir um mundo de videogame massivo e interativo onde:
- O Personagem: Michael Scott é o "usuário".
- Os Dados: O computador está pré-carregado com 1.812 transações bancárias, 2.398 e-mails, 679 eventos de calendário e milhares de mensagens de chat.
- Os Aplicativos: Existem 17 sites "falsos" diferentes (como um banco falso, uma companhia aérea falsa, um aplicativo de entrega de comida falso) que estão todos conectados. Se Michael reserva um voo na companhia aérea falsa, uma cobrança aparece automaticamente em seu extrato bancário falso e um e-mail de confirmação chega em sua caixa de entrada falsa.
- O Objetivo: A IA tem que agir como o assistente de Michael, navegando nesses aplicativos para resolver problemas da vida real usando o histórico específico dele.
O Teste: 184 Desafios do Mundo Real
Os pesquisadores criaram 184 tarefas específicas baseadas em solicitações que as pessoas realmente fazem aos assistentes de IA. Essas tarefas variam de simples a incrivelmente complexas:
- Simples: "Envie $100 para Pam via Zelle." (A IA tem que verificar primeiro se a Pam está nos contatos).
- Complexa: "Tenho viagens para Jamaica e Barbados reservadas. Posso pagar ambas com base no meu saldo atual do cartão de crédito?" (A IA tem que olhar o aplicativo do banco, o aplicativo de viagens e fazer as contas).
- Busca de Padrões: "Quanto eu costumo dar de gorjeta em entregas de comida?" (A IA tem que escanear centenas de pedidos passados para encontrar um padrão).
Os Resultados: A IA tem dificuldades com a "Vida Real"
Os pesquisadores testaram seis dos modelos de IA mais inteligentes disponíveis (de empresas como Anthropic, OpenAI e outras) neste teste. Aqui está o que aconteceu:
- O Melhor Desempenho: O modelo superior (Claude Opus 4.6) conseguiu resolver cerca de 55% das tarefas perfeitamente. Isso parece bom, mas lembre-se, esta é a melhor IA disponível. Ela ainda falhou quase metade das vezes.
- O Problema do "Multi-App": A IA tornou-se significativamente pior à medida que as tarefas exigiam o uso de mais de um aplicativo. Quando uma tarefa exigia que a IA saltasse entre 7 ou mais aplicativos diferentes (como verificar o e-mail, depois o calendário, depois o banco, depois um site de viagens), a taxa de sucesso para a maioria dos modelos caiu para 0%.
- O Problema da "Memória Longa": A IA teve dificuldade em manter o rastro de longas cadeias de ações. Se uma tarefa exigia 50 etapas, a IA frequentemente se perdia ou desistia.
- Diferentes Estilos de Falha:
- Algumas IAs (como a GPT) tendiam a desistir cedo demais, dizendo "terminei" antes de realmente concluir o trabalho.
- Algumas IAs (como a Qwen) começaram a inventar coisas, criando fatos sobre Michael Scott que não estavam nos dados.
- A melhor IA (Claude) às vezes tomava atalhos usando a linha de comando do computador (como um hacker) em vez de clicar pelos menus como uma pessoa normal.
A Conclusão
O artigo conclui que, embora a IA esteja ficando melhor em usar computadores, ela ainda não está pronta para ser um verdadeiro assistente "pessoal". Ela pode lidar com uma tarefa limpa e simples, mas desmorona quando precisa navegar em uma vida digital real, bagunçada e interconectada com histórico pessoal.
Os pesquisadores liberaram o ambiente de teste deles (o computador de "Michael Scott") para o público para que outros cientistas possam tentar construir assistentes melhores que possam realmente lidar com a complexidade da vida digital de um ser humano real.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.