Your LLM Agents are Temporally Blind: The Misalignment Between Tool Use Decisions and Human Time Perception

Título: Agentes de LLM são Temporaismente Cegos: O Desalinhamento entre Decisões de Uso de Ferramentas e a Percepção Humana de Tempo

1. O Problema: Cegueira Temporal (Temporal Blindness)

O artigo identifica uma limitação crítica e frequentemente negligenciada em agentes baseados em Grandes Modelos de Linguagem (LLMs): a cegueira temporal.

• Definição: Refere-se à incapacidade dos agentes LLM de considerar o tempo real que passa entre as mensagens do usuário e as ações do agente.
• O Cenário: Em ambientes dinâmicos, os humanos integram naturalmente a passagem do tempo em suas decisões (ex: saber que o preço de uma ação muda em segundos, mas que uma lei tributária não muda em horas). Os LLMs, por padrão, operam em um contexto estático, ignorando os intervalos temporais entre as interações.
• Consequências: Essa cegueira leva a dois tipos de falhas no uso de ferramentas (tool calling):
  1. Superconfiança (Over-reliance): O agente ignora que o contexto anterior está desatualizado e usa informações antigas, gerando respostas errôneas.
  2. Subconfiança (Under-reliance): O agente é excessivamente cauteloso e chama ferramentas desnecessariamente para informações estáveis (ex: raio da Terra), desperdiçando recursos e introduzindo latência.

2. Metodologia: O Dataset TicToc

Para estudar sistematicamente esse problema, os autores criaram o TicToc (Time-aware conversational Tool-calling), um novo dataset e framework de avaliação.

• Estrutura do Dataset:
  • Contém mais de 1.800 trajetórias de conversas multi-turno entre usuário e agente.
  • Abrange 76 cenários distintos, categorizados por sensibilidade temporal:
    • Baixa sensibilidade (29): Informações estáticas (ex: regulamentos, manuais).
    • Média sensibilidade (25): Mudanças graduais (ex: previsão do tempo, disponibilidade de hotéis).
    • Alta sensibilidade (22): Mudanças rápidas (ex: mercado de ações, GPS em tempo real).
  • Inclui cenários de somente leitura (retrieval) e leitura + escrita (ações que alteram o estado).
• Geração de Dados:
  • Trajetórias foram geradas sinteticamente usando GPT-4o, baseadas em exemplos manuais, e filtradas rigorosamente por um "juiz" LLM (GPT-4.1) e revisão humana.
  • Adição de Carimbos de Tempo: Cada mensagem recebeu um timestamp ISO 8601. Foram criadas três versões de cada trajetória variando o intervalo de tempo ($\Delta t$) antes da última pergunta do usuário (Pequeno, Médio, Grande), dependendo da sensibilidade do cenário.
• Anotação Humana:
  • Anotadores humanos avaliaram se a ação correta para o agente seria chamar uma ferramenta (para obter dados atualizados) ou responder diretamente (usando o contexto existente).
  • Foram coletadas preferências para 5.592 amostras, resultando em 3.016 amostras de alta qualidade (com consenso claro entre anotadores).

3. Avaliação e Resultados

Os autores avaliaram 18 modelos LLM (proprietários e open-weight, incluindo GPT-4, Qwen, Llama, Ministral) no dataset TicToc.

• Métrica Principal: Normalized Alignment Rate (NAR), que mede o quão bem a decisão do modelo (chamar ou não ferramenta) alinha com a preferência humana. 50% equivale a um chute aleatório.
• Principais Descobertas:
  1. Desempenho Pobre: Mesmo com carimbos de tempo explícitos fornecidos no prompt, nenhum modelo atingiu um NAR superior a 65%. Sem timestamps, o desempenho é próximo ao de um chute aleatório (~55%).
  2. Falha na Exploração de Tempo: A simples adição de timestamps não garante que o modelo entenda a implicação temporal. Modelos tendem a aumentar a taxa de chamadas de ferramentas indiscriminadamente, independentemente da necessidade real.
  3. Correlação com Comprimento da Conversa: Existe uma correlação positiva entre o número de turnos na conversa e a frequência de chamadas de ferramentas. Modelos parecem usar o "número de turnos" como um heurístico de "desatualização" em vez de analisar o tempo real.
  4. Limitações do Raciocínio (Chain-of-Thought): O uso de modos de raciocínio (CoT) não melhorou significativamente o alinhamento. A análise das trilhas de raciocínio revelou que os modelos raramente mencionam timestamps ou palavras-chave temporais em seus pensamentos internos, apesar de possuírem capacidade de raciocínio temporal em outros contextos.
  5. Mismatches Pense-Resposta: Houve uma discrepância significativa entre o que o modelo "pensou" (raciocínio) e o que ele "fez" (ação final), especialmente em modelos menores, levando a falsos positivos.

4. Esforços de Alinhamento e Soluções

Os autores testaram duas abordagens para mitigar a cegueira temporal:

• Prompting (Engenharia de Prompt):
  • Adicionar lembretes gerais ou exemplos few-shot (regras de quando chamar ferramentas) teve efeito limitado na maioria dos modelos.
  • Apenas modelos de raciocínio avançados (como o3 e o4-mini da OpenAI) mostraram melhorias modestas com prompts detalhados.
• Ajuste Fino Pós-Treinamento (Post-Training):
  • Os autores aplicaram Otimização de Preferência Direta (DPO) com uma margem dinâmica em modelos de código aberto (Llama, Qwen, Ministral).
  • Resultado: O DPO resultou em ganhos massivos de alinhamento, elevando o NAR significativamente acima de 65% para todos os modelos treinados.
  • Conclusão: O alinhamento temporal eficaz requer ajuste fino direcionado, não apenas engenharia de prompt.

5. Contribuições e Significância

• Identificação de um Novo Limite: O trabalho estabelece a "cegueira temporal" como uma barreira fundamental para a confiabilidade de agentes LLM em ambientes dinâmicos.
• Dataset TicToc: Fornece o primeiro benchmark padronizado para avaliar a percepção temporal de agentes em tarefas de uso de ferramentas.
• Insights Práticos: Demonstra que a simples adição de dados temporais aos prompts não é suficiente; a capacidade de interpretar e agir sobre o tempo deve ser aprendida através de treinamento (fine-tuning).
• Impacto Futuro: Oferece um caminho para o desenvolvimento de agentes mais "conscientes do tempo", essenciais para aplicações do mundo real como assistentes financeiros, de saúde e logísticos, onde a latência e a precisão temporal são críticas.

Em resumo, o paper argumenta que, sem um alinhamento explícito com a percepção humana de tempo, os agentes LLM continuarão a cometer erros de "superconfiança" em dados antigos ou "subconfiança" gerando latência desnecessária, e que o DPO é o caminho mais promissor para resolver esse problema.