Resumo Técnico: SKILL.nb

Definição do Problema

Agentes de IA estão gerando cada vez mais artefatos externos duráveis — como código, fluxos de trabalho e memórias procedimentais — para reutilizar experiências passadas. No entanto, essa reutilização introduz um problema crítico de confiabilidade do ciclo de vida: artefatos que têm sucesso em um contexto frequentemente falham sob deriva de ambiente (ex: mudanças de UI em automação web), tarefas subespecificadas ou mudanças na distribuição de tarefas. Os sistemas existentes tipicamente tratam a experiência do agente como contexto de prompt estático ou fornecem primitivas isoladas para versionamento e validação, mas carecem de uma política de ciclo de vida unificada que governe quando promover, formalizar, reparar ou aposentar fluxos de trabalho reutilizáveis.

Em ambientes web, este desafio é agudo. Ao contrário de aplicações desktop com versões fixas ou APIs com contratos explícitos, as interfaces web podem sofrer deriva sem preservar âncoras de automação (seletores, layouts). Isso força um compromema: endurecer etapas em código melhora o controle, mas arrisca a fragilidade sob deriva, enquanto manter as etapas guiadas por linguagem natural (NL) preserva a flexibilidade, mas enfraquece o controle ao nível do artefato. O problema central é determinar quando transicionar uma etapa de orientação por NL para código executável, e quando reverter ou aposentar um fluxo de trabalho com base em evidências de execução acumuladas, em vez de sucesso de tentativa única.

Metodologia: SKILL.nb

Os autores introduzem o SKILL.nb, um framework que governa fluxos de trabalho de agentes reutilizáveis através de políticas de ciclo de vida calibradas por evidência. O sistema opera em um loop online-offline, armazenando fluxos de trabalho como notebooks Jupyter auditáveis e versionados que intercalam orientação por NL, células executáveis multilinguagem, portões de validação, caminhos de fallback e evidência multimodal (outputs, screenshots, rastros de erro).

Mecanismos Principais

1. Formalização Seletiva:
   O sistema decide a representação de cada etapa do fluxo de trabalho com base na evidência de execução. Uma etapa pode ser:

   • Guiada por NL ($z_i=0$): Executada via procedimentos de linguagem natural ou intenção pura.
   • Executável ($z_i=1$): Endurecida em código com portões de validação pré/pós-execução.
   • Demovida: Se uma realização em código se tornar instável, ela é revertida para orientação por NL.
   • Aposentada: Se um fluxo de trabalho incorrer em custos excessivos de reparo, ele é removido da recuperação ativa.

2. Execução Condicionada por Portão:
   Ao contrário de scripts de "tudo ou nada", o SKILL.nb executa etapas condicionalmente. Em tempo de execução, o sistema verifica os portões de validação (predicados sobre estados observáveis do ambiente, ex: estrutura do DOM, URL, valores de formulário).

   • Se os portões validarem, o código executável é rodado.
   • Se os portões falharem (indicando deriva), o sistema tenta um reparo local.
   • Se o reparo falhar ou os portões permanecerem inválidos, o sistema retorna ao procedimento de NL ou à intenção da etapa.
   • Isso garante que a execução seja robusta a mudanças de interface sem exigir o retreinamento imediato do modelo base.

3. Política de Ciclo de Vida e Limiares Adaptativos:
   O framework utiliza uma política baseada em limiares $\pi_\theta$ para governar ações de ciclo de vida (criar, formalizar, demover, aposentar). Esses limiares não são fixos, mas são adaptativamente calibrados via replay offline:

   • Agregação de Evidência: O sistema agrega rastros para contar suporte de rastro (para criação/formalização) e contagens de reparo aceito/cargas de reparo ponderadas por tokens (para demovimento/aposentadoria).
   • Especialização de Grupo: Limiares são estimados por grupo (ex: família de sites, tipo de tarefa) usando logs históricos.
   • Segurança Calibrada por Replay: Limiares são selecionados para minimizar custos de manutenção enquanto garantem que a taxa de violação (probabilidade de admitir uma ação insegura) permaneça dentro de um orçamento, estimado usando um limite superior de confiança de Wilson de um lado só sobre dados de replay históricos.
   • Encolhimento (Shrinkage): Para grupos esparsos, as estimativas são encolhidas em direção a um limiar global agrupado para evitar o overfitting em amostras pequenas.

4. Representação de Artefato:
   Os fluxos de trabalho são armazenados como notebooks versionados (.ipynb). Este formato foi escolhido em vez do markdown padrão (ex: SKILL.md) porque suporta nativamente:

   • Células de código executáveis com limites explícitos.
   • Evidência de execução incorporada (outputs, screenshots, logs).
   • Portões de validação e lógica de fallback dentro do mesmo artefato.
   • Histórico auditável do que o código executou, quais portões passaram e qual evidência foi produzida.

Principais Contribuições

1. Formulação de Automação Durável: O artigo enquadra a automação de agentes web duráveis como um problema de formalização seletiva e governança de ciclo de vida, onde os artefatos devem ser gerenciados ativamente (promovidos, reparados, aposentados) conforme as suposições falham.
2. Framework SKILL.nb: Um sistema nativo de notebook que acopla formalização seletiva com execução condicionada por portão, permitindo fluxos de trabalho que misturam orientação por NL, código executável e evidência multimodal em um único objeto versionado.
3. Validação Empírica: Avaliação abrangente mostrando que o SKILL.nb melhora não apenas o sucesso de tarefa de tentativa única, mas, mais criticamente, a confiabilidade de uso repetido, recuperação de reparo e robustez à deriva de ambiente em comparação com baselines de memória persistente.

Resultados Experimentais

Os autores avaliaram o SKILL.nb no WebArena-Verified, Mind2Web e em um protocolo controlado de deriva de versão do GitLab.

• Desempenho de Tentativa Única (WebArena-Verified):

  • Alcançou 53,7% de sucesso em rodada única, superando o baseline mais forte (ReasoningBank) em 3,9 pontos percentuais ($p=0.029$).
  • Mostrou ganhos significativos em tarefas complexas de múltiplos sites (17,5% vs. 11,3% para baselines).

• Confiabilidade do Ciclo de Vida (Execução Repetida):

  • Consistência de Reuso: Retenção de 91,7% das tarefas inicialmente bem-sucedidas ao longo de três reexecuções, 15,5 pontos acima do próximo melhor método.
  • Reparo vs. Regressão: Sob reparo limitado, recuperou 72,9% das falhas subsequentes, limitando as regressões pós-reparo a 4,2%. Em contraste, baselines persistentes sofreram taxas de regressão de 15,0–17,0%.
  • Estabilidade: Diferente dos baselines que degradam ao longo de rodadas repetidas, o SKILL.nb melhorou de 53,7% para 55,7% de sucesso ao longo de cinco rodadas perturbadas.

• Generalização (Mind2Web):

  • Liderou todos os métodos comparados em divisões cross-website e cross-domain, alcançando taxas de sucesso de etapa de 38,1% e 39,7%, respectivamente.

• Deriva do Mundo Real (Migração GitLab):

  • Em um teste reutilizando estado congelado aprendido no GitLab 15.7 para o GitLab 16.11 e 18.9:
    • SKILL.nb: Manteve o desempenho (61,7% no v18.9 vs. 61,1% fresh), mostrando uma transferência negativa de apenas -1,7 a +0,6 pontos.
    • Baselines: Sofreram degradação severa (ex: AWMonline caiu 14,4 pontos; ReasoningBank caiu 11,1 pontos) devido à "transferência negativa" de suposições obsoletas e específicas da interface.

Significância e Alegações

O artigo afirma que a governança de ciclo de vida e a execução condicionada por portão são eixos de confiabilidade essenciais além do simples sucesso de tarefa de tentativa única. Ao tratar os artefatos do agente não apenas como memórias, mas como objetos gerenciados por ciclo de vida, o SKILL.nb demonstra que:

1. A governança baseada em evidência permite que agentes se adaptem à deriva de ambiente sem esquecimento catastrófico ou regressão silenciosa.
2. A formalização seletiva fornece um meio-termo flexível entre o código frágil e a NL não estruturada, permitindo que os sistemas realizem um "fallback" gracioso quando o código se torna inválido.
3. Notebooks auditáveis fornecem a estrutura necessária para rastrear limites de execução e evidências, permitindo rollbacks seguros e manutenção que é impossível com o reuso de contexto de prompt não estruturado.

Os autores enfatizam que sua abordagem depende de evidência fundamentada em execução em vez de rótulos de avaliadores ocultos para decisões em tempo de execução, e que suas garantias de segurança são relativas ao replay (limitadas por logs históricos) em vez de garantias absolutas contra mudanças futuras e não vistas. O trabalho sugere um caminho para agentes mais robustos e autocorretivos, capazes de operar em ambientes dinâmicos do mundo real.