🤖 machine learning

Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

Este artigo demonstra que o ajuste fino supervisionado de modelos de linguagem grandes pré-treinados em trajetórias offline rotuladas por oráculo aprimora significativamente suas capacidades de aprendizado em contexto para tomada de decisão sequencial em MDPs, POMDPs e APOMDPs, alcançando lacunas de otimalidade substancialmente menores do que métodos de base, particularmente em ambientes complexos, de horizonte longo e parcialmente observáveis.

Autores originais: Minmin Zhang, Sina Aghaei, Soroush Saghafian

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Minmin Zhang, Sina Aghaei, Soroush Saghafian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma bibliotecária brilhante e bem lida (o Modelo de Linguagem de Grande Escala ou LLM). Essa bibliotecária leu quase todos os livros do mundo e é incrivelmente inteligente. No entanto, ela nunca realmente jogou um videogame ou gerenciou uma estratégia complexa antes. Ela conhece a teoria, mas não praticou os movimentos específicos necessários para vencer.

Este artigo pergunta: Como ensinamos essa bibliotecária a fazer uma sequência de decisões inteligentes em um novo jogo complicado, usando apenas alguns exemplos?

Aqui está a análise da abordagem e das descobertas do artigo, usando analogias simples:

1. O Desafio: O "One-Shot" vs. O "Treinador"

Geralmente, se você quiser que a bibliotecária jogue um jogo, você pode apenas mostrar a ela alguns exemplos de outra pessoa jogando (isso é chamado de Aprendizado em Contexto).

O Problema: Se o jogo for simples, a bibliotecária se sai razoavelmente bem. Mas se o jogo for longo, confuso ou tiver regras ocultas (como um campo de batalha nebuloso onde você não consegue ver o inimigo), a bibliotecária se perde. Ela pode adivinhar o movimento errado porque está apenas "lendo" os exemplos no momento, sem realmente entender a estratégia subjacente.

2. A Solução: O "Acampamento de Treinamento Intensivo" (Ajuste Fino Supervisionado)

Em vez de apenas mostrar à bibliotecária alguns exemplos logo antes do jogo começar, os autores colocam a bibliotecária em um acampamento de treinamento.

O Método: Eles pegam uma vasta biblioteca de vídeos de "jogo perfeito" (trajetórias) onde um especialista (um "oráculo") já venceu o jogo. Eles alimentam esses vídeos na bibliotecária e dizem: "Aprenda o padrão de como o especialista pensa e age."
O Twist: Eles não re treinam a bibliotecária do zero (o que seria como ensinar uma criança pequena a ler). Em vez disso, usam uma técnica chamada QLoRA (um "adaptador inteligente"). Pense nisso como dar à bibliotecária um par especial de óculos ou um manual específico que ajusta seu conhecimento existente apenas o suficiente para dominar esse novo tipo de jogo, sem reescrever todo o seu cérebro.

3. Os Três Tipos de Jogos Testados

Os pesquisadores testaram esse método de treinamento em três tipos de cenários de tomada de decisão, ficando progressivamente mais difíceis:

MDP (O Quarto Claro): Imagine um jogo onde você pode ver tudo perfeitamente. Você sabe exatamente onde está e o que acontecerá se mover para a esquerda ou para a direita.
- Resultado: A bibliotecária treinada foi muito melhor do que a não treinada, especialmente em jogos longos.
POMDP (O Quarto Nebuloso): Imagine o mesmo jogo, mas agora há uma neblina densa. Você não consegue ver todo o tabuleiro; só vê um pequeno pedaço ao seu redor. Você tem que adivinhar onde o inimigo está com base em pistas limitadas.
- Resultado: O treinamento ajudou a bibliotecária a lidar muito melhor com a neblina. A bibliotecária não treinada ficava confusa facilmente, mas a treinada aprendeu a confiar em seu "instinto" (o padrão que aprendeu durante o treinamento).
APOMDP (O Quarto Nebuloso com um Trapaceiro): Este é o nível mais difícil. Não apenas há neblina, mas as regras do jogo podem ser ligeiramente diferentes dependendo de quem está executando a simulação. É como jogar um jogo onde a física pode mudar ligeiramente a cada vez que você joga.
- Resultado: A bibliotecária treinada ainda superou todos os outros. Ela aprendeu a ser robusta o suficiente para lidar com a incerteza e as regras do "trapaceiro".

4. O "Porquê" (A Teoria)

Os autores não apenas disseram "funciona"; eles tentaram explicar por que usando matemática.

A Analogia: Eles compararam o mecanismo de atenção da bibliotecária (como ela se concentra em partes do texto) a uma calculadora.
Quando a bibliotecária é "treinada" (ajuste fino), ela aprende a usar sua camada de atenção para calcular secretamente o "melhor movimento" (uma função Q) com base nos poucos exemplos que você mostra a ela durante o jogo.
Eles provaram matematicamente que os erros da bibliotecária vêm de duas fontes:
1. Confusão com os poucos exemplos: Se você mostrar apenas um exemplo ruim, ela fica confusa.
2. Viés do treinamento: Se o "acampamento de treinamento" não foi longo o suficiente, ela pode ter aprendido um atalho que não é perfeito.
- O artigo mostra que, ao treinar com vídeos suficientes de "jogo perfeito", você pode minimizar esses erros.

5. Os Resultados

Melhor que o Aleatório: A bibliotecária treinada não apenas adivinhou; ela jogou estrategicamente.
Melhor que "Apenas Lendo": A bibliotecária treinada venceu a bibliotecária que apenas recebeu exemplos logo antes do jogo (Aprendizado em Contexto).
A Grande Vitória: O treinamento ajudou mais nas situações mais difíceis: jogos longos, ambientes nebulosos e jogos com regras complicadas e mutáveis. Em alguns jogos longos, a bibliotecária treinada reduziu a "taxa de erro" pela metade em comparação com a versão não treinada.

Resumo

O artigo demonstra que, se você pegar uma IA inteligente pré-treinada e dar a ela um "acampamento de treinamento" específico usando dados offline (vídeos de jogo perfeito), ela se torna uma mestra na tomada de decisões sequenciais. Ela aprende a lidar com planejamento de longo prazo, informações ocultas e regras incertas muito melhor do que se você apenas pedisse para ela "resolver" na hora.

Nota sobre o Escopo: Os autores testaram especificamente isso em jogos sintéticos (ambientes simulados como gerenciamento de energia ou mundos de grade). Embora eles mencionem que isso poderia ser útil para campos do mundo real como saúde (onde há abundância de dados, mas experimentos são caros), o próprio artigo apresenta apenas resultados desses jogos simulados. Eles não testaram isso em pacientes reais ou dados reais de hospitais neste estudo.

Resumo Técnico: Modelos de Linguagem de Grande Escala para Tomada de Decisão Sequencial via Ajuste Fino Supervisionado

Declaração do Problema

A tomada de decisão sequencial sob incerteza é crítica em domínios de alto risco, como planejamento de tratamento clínico e gestão de recursos. Embora os Regimes de Tratamento Dinâmico (DTRs) ofereçam uma estrutura para aprender a partir de dados observacionais, eles frequentemente dependem da forte suposição de ignorabilidade sequencial (todos os confundidores são observáveis). Na realidade, confundidores não observáveis exigem Regimes de Tratamento Dinâmico Ambíguos (ADTRs), que avaliam políticas contra um conjunto de modelos plausíveis (ambiguidade de modelo) em vez de um único modelo. Isso corresponde a Processos de Decisão de Markov Parcialmente Observáveis Ambíguos (APOMDPs).

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado capacidades notáveis de Aprendizado em Contexto (ICL), sua aplicação à tomada de decisão sequencial tem sido limitada. Trabalhos anteriores geralmente treinam transformadores do zero, focam em Processos de Decisão de Markov (MDPs) totalmente observáveis e negligenciam os desafios da observabilidade parcial e da ambiguidade de modelo encontrados em cenários do mundo real. Este artigo aborda a lacuna no aproveitamento de LLMs pré-treinados para tomada de decisão sequencial em MDPs, POMDPs e APOMDPs usando dados offline rotulados por oráculo.

Metodologia

Os autores propõem uma estrutura que adapta o Ajuste Fino Supervisionado (SFT) para permitir que LLMs pré-treinados realizem tomada de decisão sequencial com poucos exemplos.

1. Visão Geral da Estrutura

Em vez de treinar um transformador do zero, os autores ajustam finamente um LLM pré-treinado de código aberto (especificamente Llama-2-7B) usando QLoRA (Adaptadores de Baixa Rank Quantizados) eficiente em parâmetros. O modelo é treinado em trajetórias offline geradas por um oráculo de ação ótimo (ou próximo do ótimo).

Treinamento: O modelo aprende a prever o próximo token de ação dada uma história de observações, ações e recompensas, serializadas em um formato textual. A função de perda é a perda padrão de previsão do próximo token sobre essas trajetórias serializadas.
Inferência: No momento do teste, o modelo recebe um contexto de poucos exemplos (trajetórias de demonstração de uma nova tarefa) e a história atual. Ele gera ações para a nova tarefa sem atualizações adicionais de parâmetros, atuando efetivamente como uma política condicionada aos exemplos em contexto.

2. Análise Teórica

O artigo fornece uma análise teórica focada em MDPs lineares para entender por que o SFT melhora o desempenho.

Interpretação: Os autores interpretam uma camada de autoatenção linear (LSA) treinada como estimando implicitamente os parâmetros da função Q ótima a partir de dados em contexto.
Limite de Subotimalidade: Eles derivam um limite de subotimalidade ponta a ponta para a política induzida. Este limite decompõe o erro em dois componentes distintos:
1. Erro de estimação em contexto: Diminui à medida que o número de trajetórias de suporte de poucos exemplos ( $K_{test}$ ) aumenta.
2. Viés do comprimento de treinamento: Diminui à medida que o número de trajetórias de treinamento ( $K$ ) aumenta.
Insight Chave: A análise sugere que, embora aumentar as trajetórias de suporte ajude a estimar a tarefa específica, aumentar o volume de dados de treinamento reduz o viés introduzido pelo comprimento finito da sequência de treinamento, o que é crucial para tarefas de longo horizonte.

Contribuições Principais

Estrutura SFT para Tomada de Decisão Sequencial: Os autores introduzem um método para ajustar finamente LLMs pré-treinados em trajetórias offline, permitindo que eles generalizem para novas tarefas por meio de demonstrações de poucos exemplos sem atualizações adicionais de parâmetros.
Utilização de Dados de Oráculo Offline: A estrutura aproveita conjuntos de dados offline combinados com um oráculo de ação ótimo para sintetizar trajetórias de treinamento de alta qualidade. Isso é particularmente relevante para domínios como saúde, onde a experimentação é custosa ou antiética, e supervisão derivada de especialistas pode ser construída a partir de dados registrados.
Decomposição Teórica do Erro: O artigo fornece um limite teórico que separa o erro de estimação em contexto do viés do comprimento de treinamento, oferecendo uma explicação formal para os ganhos de desempenho observados com o SFT.
Avaliação Empírica em Cenários Complexos: O estudo estende a avaliação além dos MDPs padrão para incluir POMDPs (observabilidade parcial) e APOMDPs (ambiguidade de modelo), demonstrando robustez nesses ambientes mais realistas e desafiadores.

Resultados Experimentais

Os autores avaliam sua abordagem em tarefas sintéticas nos cenários MDP, POMDP e APOMDP, comparando o LLM-SFT com baselines aleatórios, baselines apenas de ICL e o Transformer Pré-treinado para Decisão (DPT).

Ganhos de Desempenho: LLMs ajustados finamente alcançam lacunas de otimalidade substancialmente menores em comparação com políticas aleatórias e baselines apenas de ICL.
- Em MDPs, o SFT reduz aproximadamente pela metade a lacuna de otimalidade em cenários de longo horizonte (por exemplo, reduzindo a lacuna de ~43% para ~15% no horizonte $T=15$ ).
- Em POMDPs e APOMDPs, os ganhos são ainda mais pronunciados, com LLMs-SFT mantendo lacunas de otimalidade baixas mesmo sob observabilidade parcial ( $q=0.8$ ) e ambiguidade de modelo.
Comparação com DPT: A abordagem SFT supera consistentemente o DPT em todos os cenários. Notavelmente, sob o critério pessimista em APOMDPs ( $\alpha=1.0$ ), a lacuna de desempenho entre o DPT e o LLM-SFT aumenta à medida que o tamanho do conjunto de ambiguidade aumenta, enquanto o LLM-SFT permanece estável.
Robustez: O modelo demonstra robustez a condições de teste fora da distribuição (OOD), mantendo lacunas de otimalidade baixas quando testado em parâmetros fora da distribuição de treinamento (por exemplo, diferentes probabilidades de transição ou níveis de ruído de observação).
Tarefa Darkroom: Na desafiadora tarefa Darkroom (recompensas esparsas, objetivos ocultos), o LLM-SFT alcança aproximadamente 95% do desempenho do oráculo, superando significativamente políticas aleatórias.

Significado e Alegações

O artigo alega que o ajuste fino supervisionado fornece uma rota eficaz para dotar LLMs pré-treinados com capacidades de tomada de decisão sequencial derivadas de dados offline. Isso é significativo porque:

Aproveita a ampla capacidade representacional adquirida durante o pré-treinamento, potencialmente melhorando a generalização em diversas tarefas.
Oferece uma solução prática para domínios como saúde, onde dados offline são abundantes, mas a experimentação online é limitada.
Demonstra que LLMs podem lidar com cenários complexos de tomada de decisão envolvendo observabilidade parcial e ambiguidade de modelo, que são frequentemente negligenciados na literatura existente de tomada de decisão por ICL.
A decomposição teórica do erro oferece uma compreensão principiante de como o volume de dados de treinamento e os exemplos em contexto interagem para determinar a qualidade da política.

Os autores reconhecem limitações, incluindo o custo computacional do ajuste fino, a dependência de um oráculo ótimo (que pode ser difícil de calcular para problemas complexos) e o foco em MDPs lineares para análise teórica. Eles sugerem que trabalhos futuros devem focar na aplicação desta estrutura a conjuntos de dados clínicos do mundo real, reduzindo a dependência de supervisão por oráculo e explorando cenários multimodais.