Contradiction-Aware Strategy Synthesis in Agent Skills via Loop Engineering: A Controlled Empirical Comparison with Conventional Search

Resumo Técnico: Síntese de Estratégia Consciente de Contradições em Habilidades de Agentes via Engenharia de Loops

Definição do Problema
O artigo aborda dois modos de falha críticos nos atuais aconselhamentos de estudos no exterior e bolsas de estudo: (1) Sobrecarga de Informação, onde buscas convencionais na web retornam listas de links não estruturadas e de confiabilidade desigual que falham em sintetizar o perfil específico de um candidato; e (2) Premissas Inválidas, onde candidatos buscam objetivos estruturalmente impossíveis (ex: um curso de medicina integralmente financiado e em inglês na Áustria) sem que o mecanismo de busca sinalize a contradição. Os mecanismos de busca convencionais são otimizados para relevância de fonte, não para qualidade de decisão, e carecem de mecanismos para validar a viabilidade do objetivo contra restrições específicas de cada país. Embora as "habilidades de agentes" (fluxos de trabalho encapsulados) aleguem resolver isso, comparações empíricas rigorosas e controladas por entrada contra basais convencionais têm sido ausentes.

Metodologia
O estudo emprega um protocolo rigoroso de testes A/B controlados através de dez experimentos (nove perfis de candidatos reais em nove países/domínios e um teste de robustez de perfil esparso).

• Entradas Controladas: Tanto o braço da "Habilidade" quanto o braço da "Busca Web Normal" recebem o mesmo prompt de linguagem natural descrevendo o candidato e seu objetivo. O braço da Habilidade ingere adicionalmente um perfil JSON estruturado que codifica os mesmos fatos. Este design isola o valor do loop de síntese de qualquer vantagem no acesso à informação.
• Estrutura de Engenharia de Loops: A Habilidade executa um processo de refinamento iterativo de cinco estágios:
  • L1 (Recuperação e Estruturação): Coleta fatos do candidato e do país.
  • L2 (Detecção de Contradição e Restrição): Testa o objetivo declarado contra a realidade para detectar impossibilidades ou condições.
  • L3 (Quantificação e Benchmarking): Atribui custos, taxas de aceitação, lacunas líquidas de financiamento e pontuações.
  • L4 (Síntese de Estratégia e Acionabilidade): Classifica opções e constrói uma linha do tempo.
  • L5 (Verificação): Reconciliação programática de números e verificações de consistência.
• Métricas: O estudo mede a cobertura de dimensões de saída em sete classes críticas de decisão: combinações de financiamento classificadas, lacunas líquidas quantificadas, comparações de instituições, prêmios nomeados, gráficos, cronogramas e vereditos de validade do objetivo. Um estudo de ablação quantifica a contribuição marginal de cada loop.

Principais Contribuições

1. Protocolo de Comparação Controlada: O primeiro estudo multidomínio e controlado por entrada que compara uma habilidade de agente estruturada com uma busca web convencional, eliminando o fator de confusão da "melhor entrada".
2. Corpus Empírico: Um conjunto de dados de 20 artefatos (10 relatórios da Habilidade vs. 10 buscas Basais) abrangendo diversos regimes de financiamento (isento de mensalidade, alta mensalidade, padrão de estipêndio).
3. Ablação de Nível de Loop: Formalização do processo de aconselhamento em loops, demonstrando que os Loops L2–L4 desbloqueiam aproximadamente 69% dos artefatos de nível de decisão, provando que a profundidade da iteração, e não o mero acesso aos dados, impulsiona o valor.
4. Verificação Programática: Uma passagem L5 que verifica mecanicamente todos os relatórios gerados, confirmando alegações estruturais (contagem de páginas, presença de gráficos, inclusão de veredito) em vez de apenas assertá-las.

Resultados
Os resultados demonstram uma superioridade categórica da Habilidade sobre o basal:

• Cobertura de Decisão Crítica: A Habilidade alcança 100% de cobertura em todas as sete dimensões medidas em todos os dez experimentos. O basal alcança ~10% de cobertura (limitada a nomes de prêmios dispersos) e 0% em todas as dimensões dependentes de síntese (combinações classificadas, lacunas quantificadas, cronogramas, vereditos).
• Detecção de Contradição (O Teste Decisivo): A Habilidade classifica corretamente a validade do objetivo (Impossível, Condicional, Seletivo ou Consistente) em 100% dos casos. O basal atinge 0%, falhando em sinalizar objetivos estruturalmente impossíveis (ex: Experimento A: medicina em inglês na Áustria) e, em vez disso, retorna links genéricos que sustentam a premissa falsa.
• Geração de Artefatos: A Habilidade produz um PDF de 16 páginas rico em gráficos com 10 combinações de financiamento classificadas, uma linha do tempo de 12 meses e um "Veredito Honesto". O basal retorna uma lista não estruturada de ~10 links sem síntese.
• Robustez: No experimento de perfil esparso (Experimento C), a Habilidade degrada-se graciosamente para um esqueleto estruturado com espaços reservados e um veredito de "fornecer dados", enquanto o basal retorna os mesmos links genéricos como para entradas ricas.

Significância e Alegações
O artigo alega que, para objetivos de estudos no exterior de alto risco e propensos a contradições, a habilidade de agente estruturada domina estritamente a busca convencional.

• Criação de Valor: O principal valor não está em recuperar informações (que ambos os braços acessam), mas no trabalho de síntese internalizado pela Habilidade (Loops L2–L4). Isso transforma dados brutos em um plano acionável, removendo o fardo da montagem do candidato.
• Implicação Ética: A capacidade da Habilidade de detectar e declarar explicitamente objetivos "impossíveis" evita o dano financeiro e temporal causado pelo output "confiantemente incompleto" do basal.
• Lacuna Categórica: A "vantagem relativa de 100%" não é uma figura retórica, mas uma observação direta da incapacidade do basal de produzir artefatos de nível de decisão (planos, lacunas, vereditos) em comparação com a produção consistente da Habilidade.
• Direção Futura: Os autores propõem que futuras ferramentas de bolsas de estudo adotem o escore de cobertura de sete dimensões como uma métrica padrão e estendam o framework de engenharia de loops para outros domínios de alto risco, como imigração e triagem médica.

O artigo conclui que a Habilidade deve ser o primeiro passo padrão para os candidatos, com a busca convencional servindo apenas como uma fonte de entrada L1, já que a Habilidade fornece um "plano corrigido" versus o "ciclo desperdiçado" do basal.