Resumo Técnico: ChronoState – Condicionamento de Tempo Transcorrido Oculto para Seleção de Ações de Estado Temporal

1. Definição do Problema

Sistemas de modelos de linguagem (LM) implantados frequentemente interagem com estados externos onde as decisões dependem tanto do estado simbólico da tarefa (ex: "cache cheio", "trabalho iniciado") quanto do tempo transcorrido de relógio (ex: "5 minutos atrás", "cota resetada amanhã"). Em muitos cenários, como fluxos de trabalho de defesa e segurança, escrever carimbos de data/hora (timestamps) explícitos no prompt visível ao usuário é subótimo ou arriscado: pode vazar o tempo do sistema, misturar-se com texto não confiável ou ser enterrado em contextos longos.

A questão central de pesquisa é se um modelo de linguagem de backbone congelado pode utilizar um escalar de lado do sistema, não-token, representando o tempo transcorrido ($\tau$) para compor-se com o estado simbólico visível ($s$) para seleção de ações temporais. O artigo investiga se este "tempo oculto" (oculto do fluxo de tokens, mas acessível à computação do modelo) pode impulsionar causalmente decisões determinísticas sem exigir que o modelo rastreie o tempo autonomamente ou substitua controladores simbólicos.

2. Metodologia

2.1 Interface de Injeção Cronométrica (CI)

A interface proposta, Injeção Cronométrica, codifica segundos transcorridos em um vetor de características contínuo e o injeta no fluxo residual de um backbone de LM congelado.

• Codificação de Tempo: O tempo transcorrido $\tau$ é mapeado para um vetor de características fixas de 31 dimensões $\chi(\tau)$ usando uma codificação senoidal-mais-logarítmica:
  $$\chi(\tau) = [\sin(\tau/T_1), \cos(\tau/T_1), \dots, \sin(\tau/T_{15}), \cos(\tau/T_{15}), \log(1 + \tau)]^\top$$
  onde $T_k$ são divisores específicos variando de 2 a 604.800 segundos.
• Modulação: O vetor de tempo codificado modula os estados ocultos residuais $h_\ell$ no transformer layer $\ell$ via gated FiLM (Feature-wise Linear Modulation):
  $$h'_\ell = h_\ell + \alpha_\ell \odot (\gamma_\ell \odot h_\ell + \beta_\ell)$$
  Aqui, $\gamma_\ell$ e $\beta_\ell$ são transformações afins de $\chi(\tau)$, e $\alpha_\ell$ é um portão (gate) aprendido por canal.
• Inicialização: Os projetores de condicionamento são inicializados com zero ($\alpha_\ell=0$, pesos=0, vieses=1 para escala) para que, no início do treinamento, o modelo se comporte exatamente como o backbone congelado, evitando mudanças abruptas de distribuição.
• Adaptação: Uma superfície LoRA de Rank-8 é aplicada às projeções de atenção e à cabeça do modelo de linguagem para aprender a política de seleção de ação sobre os estados modulados. Os parâmetros do backbone permanecem congelados.

2.2 O Benchmark ChronoState

ChronoState é um benchmark de escolha forçada projetado para avaliar o raciocínio de estado temporal.

• Tarefa: Dado um prompt visível descrevendo o estado simbólico $s$ e um escalar oculto $\tau$, o modelo deve selecionar uma ação de um conjunto finito: $\{ \text{REUSE, WAIT, RETRIEVE, REFRESH, WAIT QUOTA, DEADLINE MISSED, ASK CONFIRM} \}$.
• Famílias: O benchmark cobre seis famílias: Cache (TTL), Job (duração), Deadline (folga), Quota (reset), Staleness (idade da sessão) e Multi-constraint (composição de prioridade).
• Oráculo: Uma política determinística $\pi(s, \tau)$ gera o rótulo de ouro baseado em regras estritas (ex: se $\tau \ge \text{TTL}$, então REFRESH).
• Divisões (Splits): O conjunto de dados inclui conjuntos de teste padrão e divisões retidas para templates, durações (interpolação), composições (multi-restrição) e famílias (quota pura, que é excluída do treinamento).

2.3 Controles Experimentais

Para estabelecer a dependência causal do escalar oculto, o estudo emprega vários controles:

• No-time (Sem tempo): $\tau$ é definido como zero.
• Shuffled-time (Tempo embaralhado): $\tau$ é substituído pelo escalar de um exemplo diferente (mantendo o rótulo original).
• Prompt Timestamp (Carimbo no Prompt): O tempo é escrito como texto no prompt (com $\tau$ oculto = 0).
• Conflict (Conflito): O texto visível e o escalar oculto discordam.
• Baselines (Linhas de base): Inclui apenas LoRA (sem canal de tempo), Vanilla (sem LoRA) e Prompt+LoRA (treinado em carimbos de tempo textuais).

3. Resultados Principais

3.1 Desempenho em Tarefas Padrão

Usando Qwen2.5-3B-Instruct como o backbone congelado:

• Hidden-time CI: Alcançou 0.9305 ± 0.0134 de acurácia e 0.9410 ± 0.0103 de acurácia balanceada no teste padrão.
• Baseline Prompt+LoRA: Superou a abordagem de tempo oculto com 0.9893 ± 0.0052 de acurácia.
• Controle No-Time: A acurácia caiu para 0.5511, indicando que o modelo depende do escalar de tempo.
• Controle Shuffled-Time: A acurácia caiu para 0.3323, com alta Consistência de Estado Errado (WSC) (~0.91). Isso confirma que o modelo recomputa causalmente as ações baseadas no escalar injetado, mesmo quando o escalar está incorreto.

3.2 Generalização e Limitações

• Forte Generalização: O modelo generalizou bem para templates retidos (0.9357), durações (0.8375) e composições de multi-restrição (0.8652).
• Fraca Transferência: O desempenho colapsou na família pure quota (quota pura) retida (0.5065). Embora a lógica de quota aparecesse em exemplos de treinamento de multi-restrição, o modelo falhou em abstrair o predicado de quota pura quando isolado.
• Tratamento de Conflito: Em cenários de conflito, o modelo seguiu fortemente o escalar oculto (scalar-follow ~0.90) em vez do texto visível, demonstrando dominância do canal oculto, mas uma falta de tratamento seguro de discordância.

3.3 Diagnósticos Lineares

Modelos lineares usando características de estado engenheiradas mais a codificação de tempo ($\chi(\tau) + s$) alcançaram alto desempenho (ex: 0.9230 nos testes padrão), provando que a tarefa é solucionável com características explícitas. O modelo neural capturou grande parte dessa estrutura, mas falhou em igualar o desempenho do baseline linear na divisão de quota pura.

4. Alegações e Significância

O artigo faz uma alegação estreita e intencional:

1. Viabilidade: Um escalar de tempo transcorrido oculto e não-token pode ser composto causalmente com um estado simbólico visível em um LM de backbone congelado para selecionar ações temporais sob supervisão direta.
2. Utilidade da Interface: A interface de Injeção Cronométrica fornece um canal controlável, do lado do sistema, que pode ser zerado, embaralhado ou colocado em conflito com o texto visível, tornando-a um objeto de pesquisa valioso para o estudo de interfaces de estado de sistema.
3. Não Superioridade: O artigo não afirma explicitamente que a condicionamento de tempo oculto é superior aos carimbos de tempo de prompt (o baseline Prompt+LoRA é mais forte).
4. Não Autonomia de Rastreamento: O modelo não possui percepção de tempo autônoma; ele depende inteiramente do escalar fornecido externamente. Se o escalar estiver incorreto, o modelo produzirá ações incorretas.
5. Não Abstração Ampla: A falha na família de quota pura indica que o modelo não alcança uma abstração ampla de famílias não vistas para todos os tipos de predicados.

Conclusão: O ChronoState valida um padrão arquitetural específico para suporte de decisão ciente do tempo em ambientes seguros ou restritos, onde o tempo deve influenciar o roteamento sem entrar no fluxo de tokens visível. Ele serve como um benchmark e protocolo de avaliação para condicionamento de tempo oculto, em vez de uma demonstração de inteligência temporal geral ou um substituto para controladores simbólicos determinísticos.