Resumo Técnico: SKILL-DISCO

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) frequentemente resolvem tarefas interativas semelhantes do zero, levando a um raciocínio redundante, traços de execução excessivos e generalização frágil. Embora trabalhos anteriores tenham explorado a reutilização de fluxos de trabalho ou a indução de habilidades executáveis, uma lacuna fundamental permanece: não está claro quais cenários de tarefas admitem habilidades procedimentais reutilizáveis e como representar a lógica estrutural compartilhada entre diversos traços bem-sucedidos. Métodos existentes frequentemente sintetizam habilidades diretamente de traços usando LLMs sem uma noção explícita de estrutura compartilhada, resultando em bibliotecas fragmentadas, redundantes e vinculadas a padrões superficiais, em vez de uma lógica procedimental reutilizável.

Metodologia: Estrutura SKILL-DISCO

Os autores propõem o SKILL-DISCO, uma estrutura de destilação e compilação projetada para descobrir habilidades procedimentais reutilizáveis em cenários definidos por FSM (cenários com estados finitos, ações finitas e transições determinísticas). O insight central é visualizar traços de agentes bem-sucedidos como caminhos em um grafo de transição desconhecido e habilidades procedimentais como subgrafos de controle de fluxo parametrizados e reutilizáveis dentro desse grafo.

A estrutura opera em duas fases principais:

1. Fase de Destilação

Esta fase aproxima a função de elevação (lifting function) latente que mapeia traços brutos para subgrafos de Máquina de Estados Finitos Parametrizada (PFSM) reutilizáveis. Consiste em três estágios:

• Normalização de Traço: Logs brutos de agentes (intercalando raciocínio, ações e observações) são convertidos em programas Python intermediários estruturados e executáveis. Esta etapa torna o controle de fluxo (loops, ramificações) e entidades parametrizadas (objetos, localizações) explícitos, preservando a ordem dos operadores primitivos.
• Extração de Operação em Nível de Subobjetivo: Os programas normalizados são decompostos em operadores de granularidade intermediária. Estes são sequências coerentes de etapas correspondentes a subobjetivos (ex: "buscar e recuperar"), filtrando ações primitárias isoladas ou rotinas completas excessivamente específicas.
• Consolidação de Habilidade Procedimental: As operações extraídas são agrupadas com base em estruturas de execução parametrizadas compartilhadas. Mesmo que objetos ou localizações concretos difiram, operações que compartilham a mesma lógica de controle de fluxo (ex: um loop que busca localizações até encontrar um objeto) são agrupadas. Clusters de alta cobertura são identificados como candidatos a habilidades procedimentais.

2. Fase de Compilação

Esta fase transforma candidatos estruturais em artefatos chamáveis, executáveis e verificáveis.

• Especificação de Habilidade: Cada candidato é aumentado com uma definição formal, incluindo uma assinatura tipada, descrição em linguagem natural, requisitos comportamentais (pré/pós-condições) e metadados. Isso fornece um vocabulário independente de domínio para os agentes.
• Síntese e Verificação: O sistema sintetiza código Python implementando o comportamento especificado usando ações primitivas. Esses candidatos passam por verificação em tarefas não utilizadas (held-out) para checar a correção em tempo de execução, satisfação de pós-condições e economia de ações. Apenas habilidades que passam na verificação (com tentativas limitadas de síntese) são incluídas na biblioteca final.

Principais Contribuições

1. Definição de Escopo Explícita: O artigo formaliza a descoberta de habilidades procedimentais dentro de cenários definidos por FSM, onde traços bem-sucedidos são caminhos em um grafo desconhecido e habilidades são estruturas de transição bem definidas.
2. Formulação Estrutural: As habilidades são formuladas como subgrafos de Máquina de Estados Finitos Parametrizada (PFSM) reutilizáveis. Isso permite a correspondência de múltiplos traços bem-sucedidos sob vinculação de parâmetros, indo além de tratar cada traço como uma rotina independente.
3. Estrutura SKILL-DISCO: Um pipeline inovador que destila subgrafos PFSM compactos e de alta cobertura a partir de traços e os compila em habilidades executáveis e verificadas.
4. Validação Empírica: Experimentos extensos demonstram que habilidades estruturalmente fundamentadas melhoram as taxas de sucesso e a eficiência através de diferentes benchmarks e escalas de modelos.

Resultados Experimentais

A estrutura foi avaliada no ALFWorld (tarefas domésticas baseadas em texto) e no WebArena (navegação web).

• Ganhos de Desempenho: O SKILL-DISCO alcançou as maiores taxas de sucesso (SR) em todos os benchmarks. No ALFWorld, combinar o SKILL-DISCO com o CodeAct melhorou o SR de 96,3% para 99,3%. No WebArena, melhorou o SR do ReAct de 23,9% para 29,1%, superando métodos anteriores de indução de habilidades offline.
• Eficiência: A estrutura reduziu significativamente as rodadas médias do agente (ex: -54,5% no ALFWorld para ReAct), pois os agentes delegam sequências repetitivas de baixo nível para habilidades confiáveis.
• Transferência entre Modelos: Uma biblioteca de habilidades induzida por um modelo forte (GPT-4o) foi transferida com sucesso para modelos mais fracos (ex: Qwen3.5-4B/9B, GPT-4o-mini). Notavelmente, o Qwen3.5-9B equipado com habilidades induzidas pelo GPT-4o superou o desempenho do próprio indutor no ALFWorld (98,5% vs. 96,3%), demonstrando uma destilação eficaz de conhecimento procedimental.
• Confiabilidade e Compacidade: O SKILL-DISCO produziu uma biblioteca de habilidades muito menor (5 habilidades vs. 110 para os baselines no ALFWorld) com maior compressão de etapas. Crucialmente, reduziu erros de execução de 75,3% para 0,0% no ALFWorld, pois as habilidades verificadas são menos propensas a erros do que a geração ad-hoc.

Significância e Limitações

O artigo argumenta que representar a experiência compartilhada como estruturas de execução reutilizáveis (subgrafos PFSM), em vez de rotinas textuais ou scripts específicos de instância, é a chave para o aprimoramento robusto de agentes. Ao compilar habilidades em código verificado, o sistema garante confiabilidade e permite a transferência entre famílias e escalas de modelos.

Os autores reconhecem limitações específicas:

• Escopo do Domínio: A abordagem é eficaz para tarefas com estruturas procedimentais reutilizáveis (navegação, automação, uso de ferramentas), mas não oferece benefício para tarefas puras de NLP (geração de texto, compreensão de leitura) que carecem de procedimentos executáveis.
• Dependência da Capacidade do Modelo: A qualidade do pipeline depende da capacidade de raciocínio e geração de código do LLM compilador; uma capacidade insuficiente pode levar a habilidades incorretas ou excessivamente específicas.
• Requisito para Sucesso: O sinal de destilação depende inteiramente de traços bem-sucedidos. Em domínios onde mesmo os modelos de fronteira raramente têm sucesso, o corpus pode ser muito escasso para uma extração confiável.