ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning

O artigo apresenta o ASDA, um framework de adaptação de modelos de linguagem sem treinamento que supera os métodos existentes em raciocínio financeiro ao gerar automaticamente artefatos de habilidades estruturados a partir da análise de erros, resultando em ganhos significativos de desempenho no benchmark FAMMA.

O essencial

Imagine que você tem um genialíssimo consultor financeiro (um modelo de Inteligência Artificial) que sabe de tudo sobre o mundo, mas, quando chega a hora de resolver problemas específicos de finanças, ele às vezes comete erros bobos ou esquece regras importantes.

O problema é que, na vida real, muitas empresas não podem "reprogramar" o cérebro desse consultor (isso seria como tentar reescrever o código-fonte de um software pago, o que é caro e impossível). Elas só podem dar instruções a ele.

O artigo que você enviou apresenta uma solução brilhante chamada ASDA. Vamos explicar como funciona usando uma analogia simples: o "Manual de Correção de Erros".

1. O Problema: O Consultor que "Alucina"

Imagine que você tem um assistente muito inteligente, mas ele não tem experiência prática em finanças.

• Se você perguntar "Quanto é 2+2?", ele acerta.
• Se você perguntar "Qual o preço de um título de dívida com taxas de juros compostas?", ele pode tentar adivinhar e errar a fórmula, porque ele nunca praticou esse tipo específico de cálculo.

Antes, as empresas tentavam duas coisas:

1. Treinar o cérebro do assistente de novo: Muito caro e, se a empresa atualizar o modelo, todo o conhecimento treinado some.
2. Dar um "bilhete" (prompt) gigante: Escrever um texto enorme dizendo "seja cuidadoso com finanças". O artigo diz que isso não funciona bem porque é muito genérico e bagunçado.

2. A Solução: O ASDA (O "Detetive de Erros" que cria um Manual)

O ASDA funciona como um sistema de aprendizado contínuo sem reescrever o cérebro. Ele cria um "Manual de Sobrevivência" personalizado para o assistente.

Aqui está o passo a passo, como se fosse uma história:

Passo 1: O Detetive (O Modelo Professor)

Imagine que você tem um Detetive Sênior (um modelo de IA mais inteligente) e um Estagiário (o modelo que a empresa usa).

• O Estagiário tenta resolver 1.000 problemas financeiros.
• Onde ele erra, o Detetive não apenas diz "está errado". O Detetive analisa por que ele errou.
  • Exemplo: "O estagiário errou porque confundiu a taxa de juros anual com a mensal" ou "Ele esqueceu de somar o valor final do título".

Passo 2: A Organização (O Arquivo de Habilidades)

Em vez de apenas corrigir o erro na hora, o Detetive pega todos os erros parecidos e cria arquivos de instruções específicos (chamados de "Skill Files" ou Arquivos de Habilidade).

• Imagine um arquivo chamado Finanças_Corretas.md.
• Dentro dele, não tem texto chato. Tem:
  • Regras de Ouro: "Nunca use a taxa simples, sempre use a composta."
  • Exemplos Práticos: "Veja como calcular o preço de um título aqui..."
  • Código Pronto: Um pequeno script que o computador pode ler para fazer a conta certa.

É como se o Detetive escrevesse um manual de instruções de cozinha para o Estagiário, ensinando exatamente como não queimar o bolo, em vez de apenas gritar "não queime o bolo!".

Passo 3: O "Espelho" (Refinamento Iterativo)

O sistema é inteligente. Ele testa o Estagiário com esse novo manual.

• Se o manual ajudou a resolver os erros antigos, ótimo!
• Mas, às vezes, o manual pode fazer o Estagiário errar coisas que ele já sabia fazer (como tentar aplicar uma regra de "bolo queimado" em uma "salada de frutas").
• O sistema detecta isso e edita o manual para ser mais preciso. Ele faz isso várias vezes, como um editor de texto polindo um livro, até que o manual esteja perfeito.

3. O Resultado: Um Assistente "Turbinado"

Depois de criar esse manual, o Estagiário o usa durante a conversa.

• Quando você faz uma pergunta, o sistema olha no manual: "Ah, essa pergunta é sobre taxas de juros. Vou colar a regra de juros aqui na conversa dele."
• O Estagiário lê a regra, entende o que fazer e responde corretamente.

Os números do artigo são impressionantes:

• Em cálculos matemáticos financeiros, a precisão subiu 17 pontos (de algo como 41% para 58%).
• Em perguntas conceituais, subiu quase 6 pontos.
• E o melhor: Não custou nada para reprogramar o cérebro do modelo. Custou apenas o tempo de gerar esse manual.

4. Por que isso é revolucionário? (A Analogia do "Cérebro vs. Carteira")

O artigo faz uma descoberta curiosa:

• Se você pegar o manual feito para o "Estagiário 1" e passar para o "Estagiário 2" (um modelo mais inteligente), não funciona. O Estagiário 2 pode até piorar!
• Por que? Porque o manual foi feito especificamente para corrigir os erros únicos do Estagiário 1. É como dar óculos de grau feitos para a visão de uma pessoa específica; se outra pessoa usar, pode ficar tonta.
• Conclusão: O ASDA ensina que cada modelo de IA tem seus próprios "pontos cegos" e precisa do seu próprio "Manual de Correção".

Resumo em uma frase

O ASDA é como um tutor pessoal que não muda o cérebro do aluno, mas cria um caderno de anotações personalizado com as regras e exemplos que o aluno precisa para não errar mais, permitindo que qualquer empresa use IAs poderosas em finanças sem precisar de supercomputadores ou reprogramação cara.

É uma forma de transformar o "conhecimento implícito" (que o modelo tem, mas não usa) em "instruções explícitas" (que ele pode ler e seguir).

Resumo técnico

1. O Problema

O raciocínio financeiro apresenta um desafio único para os Modelos de Linguagem de Grande Escala (LLMs) de propósito geral: exige a combinação simultânea de cálculos quantitativos de múltiplos passos e julgamento específico do domínio.

• Limitações Atuais: Modelos padrão frequentemente falham devido a lacunas de conhecimento de domínio (aplicar conceitos errados ao contexto errado) ou falhas procedimentais.
• Ineficiência do Ajuste Fino (Fine-tuning): O método tradicional de adaptação via ajuste fino é caro, produz expertise "travada" no modelo (que se torna obsoleta com novas versões do modelo) e não é viável para organizações que utilizam LLMs comerciais via API (caixa-preta), onde não têm acesso aos pesos do modelo.
• Limitações das Otimizações de Prompt Existentes: Métodos de adaptação sem treinamento (como GEPA e ACE) otimizam strings de texto planas e monolíticas. O artigo demonstra que essas abordagens oferecem ganhos marginais em benchmarks financeiros complexos (como o FAMMA), pois carecem da modularidade e executabilidade necessárias para raciocínio multi-etapa.

2. Metodologia: O Framework ASDA

O ASDA (Automated Skill Distillation and Adaptation) é um framework que gera automaticamente artefatos de habilidades estruturadas e executáveis sem modificar os pesos do modelo. Ele opera através de uma arquitetura Professor-Aluno em duas fases principais:

A. Arquitetura e Definições

• Habilidade (Skill): Um arquivo estruturado (formato Markdown compatível com o padrão Agent Skills) que contém procedimentos de raciocínio, modelos de código e exemplos práticos.
• Padrão (Pattern): Um cenário de falha específico dentro de um arquivo de habilidade.
• Fluxo: Um modelo "Professor" analisa as falhas de um modelo "Aluno", agrupa-as e sintetiza os arquivos de habilidade, que são injetados dinamicamente no prompt do aluno durante a inferência.

B. Fases do Processo

1. Aquecimento (Warm-Up):

   • O modelo Professor analisa as respostas incorretas do Aluno em um conjunto de dados de treinamento.
   • Realiza uma análise de falha estruturada, classificando erros por subcampo financeiro (ex: renda fixa, derivativos) e tipo de erro (ex: seleção de método errado, confusão de conceitos).
   • Sintetiza um arquivo de habilidade inicial ($K_0$) contendo diagnósticos de causa raiz, procedimentos passo a passo e exemplos de código (usando Program-of-Thought).

2. Refinamento Iterativo (Dual-Phase):

   • Fase de Cobertura: Identifica falhas que o conjunto de habilidades atual não resolve ($Q_{gap}$). O Professor propõe novas habilidades ou expande as existentes para cobrir essas lacunas.
   • Fase de Segurança: Identifica "regressões" ($Q_-$), onde a injeção de habilidades faz com que o modelo erre questões que antes acertava (devido a superespecificidade ou instruções desnecessárias). O Professor refina as habilidades para corrigir essas regressões sem perder a precisão nas questões corretas.
   • Validação: Cada atualização de habilidade passa por um "portão de verificação", onde o aluno resolve as questões-alvo novamente. A atualização só é aceita se a precisão atingir um limiar pré-definido.

3. Inferência:

   • Um seletor baseado em LLM lê a pergunta e o índice de navegação (SKILL.md) para identificar quais arquivos de habilidade são relevantes.
   • Os arquivos selecionados são injetados no prompt do modelo aluno como conhecimento de domínio, guiando o raciocínio.

3. Principais Contribuições

1. Primeiro Sistema de Geração de Habilidades Executáveis: O ASDA é o primeiro sistema a gerar automaticamente habilidades de agente executáveis para raciocínio específico de domínio usando apenas acesso a LLMs de caixa-preta (sem atualizar pesos ou calcular gradientes).
2. Adaptação Autossuficiente (Self-Teaching): O framework demonstra que um modelo pode melhorar significativamente atuando como seu próprio professor. Analisando apenas as perguntas e respostas corretas do conjunto de dados, o modelo pode identificar seus próprios padrões de falha e sintetizar habilidades, sem necessidade de um modelo "Professor" superior.
3. Padrão Aberto e Auditável: Os artefatos gerados são arquivos de texto legíveis por humanos, controlados por versão e compatíveis com o padrão aberto Agent Skills. Isso oferece um caminho prático e auditável para adaptação de domínio em indústrias reguladas (finanças, saúde, jurídico).

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark FAMMA (Financial Reasoning Multi-Modal Assessment), focando em tarefas aritméticas e não aritméticas.

• Desempenho Superior: O ASDA superou significativamente todos os baselines sem treinamento (incluindo GEPA e ACE).
  • Raciocínio Aritmético: Melhoria de até +17,33 pontos percentuais (pp) (ex: de 41% para 58,33% no modelo Haiku 3.5).
  • Raciocínio Não Aritmético: Melhoria de +5,95 pp.
• Eficácia do Auto-Ensino: Na configuração de "auto-ensino" (onde o aluno é seu próprio professor), o ASDA alcançou +6,33 pp em tarefas aritméticas, representando 73% do ganho total obtido com um professor superior (Sonnet 4.5). Isso prova que a maior parte do benefício vem da estruturação do conhecimento, não do conhecimento intrínseco de um modelo mais forte.
• Transferência Cruzada Negativa: Habilidades geradas para um modelo mais fraco (Haiku 3.5) não funcionam bem em um modelo mais forte (Haiku 4.5), causando até uma regressão de desempenho. Isso indica que as habilidades são remédios específicos para as falhas de um modelo particular, e não conhecimento genérico de domínio.
• Custo e Viabilidade: O processo de destilação para uma configuração completa custou aproximadamente US$ 13 e levou cerca de 6 horas de tempo de parede, tornando-o viável para implantação empresarial.

5. Significado e Conclusão

O trabalho redefine a adaptação de LLMs para domínios especializados:

• Mudança de Paradigma: Em vez de tentar "ensinar" o modelo via ajuste fino ou prompts planos, o ASDA cria uma camada de representação intermediária (o banco de habilidades) entre o modelo e o contexto de implantação.
• Manutenção e Atualização: Como as habilidades são arquivos externos, elas podem ser versionadas, auditadas por especialistas humanos e regeneradas rapidamente quando o modelo base é atualizado, resolvendo o problema da obsolescência de expertise.
• Aplicabilidade: Oferece uma solução prática para organizações que dependem de APIs de LLMs comerciais e não podem acessar os pesos do modelo, permitindo a adaptação a domínios complexos e regulados com baixo custo e alta transparência.

Em resumo, o ASDA demonstra que a destilação guiada por falhas pode externalizar conhecimento de domínio latente em uma forma explícita e executável, superando as limitações de modelos de inferência única sem a necessidade de re-treinamento massivo.