Learning to Present: Inverse Specification Rewards for Agentic Slide Generation

Este trabalho apresenta o SlideRL, um ambiente de aprendizado por reforço que utiliza recompensas de especificação inversa e fine-tuning eficiente do modelo Qwen2.5-Coder-7B para permitir que agentes de IA gerem automaticamente apresentações de slides profissionais de alta qualidade, superando modelos base e alcançando desempenho próximo ao de modelos proprietários de grande porte.

O essencial

Imagine que você precisa criar uma apresentação de slides profissional para uma reunião importante. Em vez de você mesmo pesquisar dados, escrever textos, escolher cores e montar os slides, você pede para uma Inteligência Artificial (IA) fazer tudo isso.

O problema é que, até agora, essas IAs muitas vezes faziam um trabalho "meio termo": criavam slides bonitos, mas com informações erradas, ou com informações certas, mas com um visual terrível. Elas não entendiam bem a "alma" do que você pediu.

Este artigo descreve uma nova maneira de ensinar essas IAs a se tornarem mestres em criar apresentações, usando um método parecido com como ensinamos um cachorro a fazer truques, mas com um toque de "detetive".

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Cenário: A Cozinha da IA

Pense no sistema como uma cozinha de restaurante.

• O Chef (a IA): É o modelo de linguagem (neste caso, um modelo chamado Qwen) que vai cozinhar a apresentação.
• As Ferramentas: O chef não pode apenas "pensar" no prato. Ele precisa usar utensílios reais. O sistema deu ao chef 14 ferramentas diferentes: uma para pesquisar na internet, outra para criar o esboço, outra para desenhar o slide, outra para mudar a cor de fundo, etc.
• O Cliente (Você): Você dá um pedido (o "briefing"): "Quero uma apresentação sobre vendas de carros elétricos para investidores, com 8 slides."

2. O Grande Desafio: Como saber se o prato ficou bom?

No passado, se o chef entregasse o prato, o cliente só podia dizer "gostei" ou "não gostei" no final. Mas e se o chef usasse o sal errado no começo e o cliente só percebesse no final? O chef não saberia o que corrigir.

Os autores criaram um Sistema de Avaliação Multi-Componente. Em vez de uma nota única, é como se houvesse 6 juízes diferentes avaliando o prato:

1. O Juiz da Estrutura: Verifica se os slides têm título e se o texto não está muito grande.
2. O Juiz Técnico: Verifica se o arquivo HTML não quebrou e se as imagens carregaram.
3. O Juiz de Beleza (Visual): Um humano (ou IA avançada) olha se as cores combinam e se o design é moderno.
4. O Juiz de Conteúdo: Verifica se as informações são verdadeiras e se fazem sentido.
5. O Juiz do "Detetive" (A Grande Inovação): Este é o ponto mais criativo do artigo.

3. A Inovação: O Jogo do "Detetive" (Reconstrução Inversa)

Aqui entra a parte genial chamada "Recompensa de Especificação Inversa".

Imagine que o chef entrega o prato pronto. Em vez de apenas dizer "está gostoso", o cliente pega o prato e tenta adivinhar qual era o pedido original.

• Cliente: "Hmm, olhando este slide sobre carros elétricos com 8 páginas, eu diria que o pedido original era para investidores focados em tecnologia."
• Se o cliente consegue adivinhar perfeitamente o pedido original apenas olhando o resultado, significa que a apresentação foi tão clara e fiel que a mensagem original foi transmitida com perfeição.
• Se o cliente ficar confuso e pensar: "Espera, isso parece um pedido sobre culinária", a nota cai.

Isso força a IA a não apenas "fazer algo", mas a garantir que o que ela fez faça sentido e corresponda exatamente ao que foi pedido.

4. O Treinamento: Aprendendo com Erros e Acertos

Para treinar a IA, eles usaram uma técnica chamada GRPO (uma versão inteligente de aprendizado por reforço).

• Eles não deixaram a IA tentar e errar sozinha por anos. Primeiro, usaram uma IA "Super Chef" (Claude Opus) para criar exemplos perfeitos de como fazer.
• Depois, treinaram a IA menor (o Qwen de 7 bilhões de parâmetros) para imitar esses exemplos, mas com um ajuste fino: ela só aprendeu a mudar 0,5% dos seus "cérebros" (parâmetros). É como se você ensinasse um cozinheiro experiente apenas a mudar o tempero de um prato específico, sem ter que reensiná-lo a cortar cebola ou acender o fogo.

5. Os Resultados: O Pequeno que Venceu o Gigante

O experimento foi feito com 48 pedidos diferentes de empresas.

• O Gigante: Modelos gigantes e caros (como o Claude Opus) fizeram um ótimo trabalho.
• O Gigante Falho: Um modelo de 120 bilhões de parâmetros (GPT OSS) falhou miseravelmente porque não conseguia seguir as regras de usar as ferramentas corretamente. Tamanho não é documento!
• O Herói: O modelo pequeno e treinado (Qwen 7B) conseguiu fazer 91% do trabalho do modelo gigante e mais caro, mas de forma muito mais rápida e barata.

Resumo em uma frase

Os autores criaram um "treinador de IA" que usa um jogo de detetive para garantir que as apresentações geradas sejam não apenas bonitas e corretas, mas que realmente comuniquem a mensagem que você pediu, conseguindo fazer uma IA pequena e barata performar quase tão bem quanto as maiores do mundo.

O que eles liberaram?
Eles deixaram tudo de graça na internet: o código, o sistema de avaliação e os dados de treinamento, para que qualquer pessoa possa criar suas próprias IAs de apresentações.

Resumo técnico

Título: Aprendendo a Apresentar: Recompensas de Especificação Inversa para Geração de Slides Agêntica

1. O Problema

A geração automática de apresentações profissionais permanece uma tarefa desafiadora para a Inteligência Artificial. Diferente da geração de texto simples, criar slides exige:

• Coerência Multidimensional: Integração de criação de conteúdo, design visual e comunicação adaptada ao público.
• Fluxo de Trabalho Complexo: O agente deve realizar pesquisa, planejamento, geração de conteúdo, design e refinamento em etapas sequenciais.
• Espaço de Ação Grande: O agente precisa selecionar e parametrizar corretamente múltiplas ferramentas (14 ferramentas no total) para executar tarefas como buscar na web, criar esboços e editar slides.
• Avaliação de Qualidade: É difícil definir uma métrica única que capture tanto a precisão factual quanto o apelo estético e a fidelidade à intenção original do usuário.

2. Metodologia

Os autores propõem um ambiente de Aprendizado por Reforço (RL) compatível com o padrão OpenEnv, onde um Agente LLM aprende a gerar apresentações em HTML através do uso de ferramentas.

A. Ambiente e Espaço de Ação

O ambiente simula um fluxo de trabalho de cinco fases: Pesquisa, Planejamento, Geração, Refinamento e Finalização. O agente interage com 14 ferramentas organizadas em 5 categorias:

1. Pesquisa: Busca na web e fetch de URLs.
2. Planejamento de Conteúdo: Criação e revisão de esboços.
3. Design: Geração e edição de slides, definição de temas.
4. Estrutura do Deck: Inserção, exclusão, reordenação e duplicação de slides.
5. Meta: Revisão do deck e finalização.

B. Sistema de Recompensa Multi-Componente

Em vez de uma recompensa esparsa no final do episódio, o sistema utiliza recompensas densas (baseadas em deltas de qualidade a cada passo) e avalia a qualidade em seis dimensões:

1. Regras de Código: Validação estrutural (presença de títulos, contagem de seções, contagem de palavras).
2. Qualidade de Renderização: Sucesso na geração de HTML e conversão para PNG.
3. Estética HTML: Avaliação por LLM da estrutura, balanceamento de conteúdo e tipografia no código.
4. Estética Visual: Avaliação por LLM das capturas de tela (cores, layout, espaçamento).
5. Qualidade do Conteúdo: Relevância do tópico, fundamentação factual (baseada na pesquisa) e fluxo narrativo.
6. Recompensa de Especificação Inversa (Inovação Chave): Um LLM tenta reconstruir a especificação original (tópico, público-alvo, número de slides, temas) apenas olhando para os slides gerados. Se a reconstrução for precisa, a recompensa é alta. Isso mede a coerência holística e a fidelidade ao propósito.

C. Pipeline de Treinamento (GRPO + LoRA)

• Modelo Base: Qwen2.5-Coder-7B-Instruct.
• Algoritmo: GRPO (Group Relative Policy Optimization), uma variação eficiente do PPO que normaliza vantagens dentro de um grupo de gerações, eliminando a necessidade de um modelo de valor crítico.
• Fine-tuning: Utilização de LoRA (Low-Rank Adaptation) para ajustar apenas 0,5% dos parâmetros (aprox. 40M parâmetros treináveis em um modelo de 7,6B), mantendo os pesos base congelados em 4-bit.
• Dados: Trajetórias de especialistas geradas pelo Claude Opus 4.6 para servir como demonstrações de alta qualidade.

3. Principais Contribuições

1. Ambiente RL OpenEnv: Um ambiente completo para geração de apresentações com 14 ferramentas e fluxo de trabalho estruturado.
2. Recompensa de Especificação Inversa: Uma nova formulação de recompensa que usa a tarefa inversa (reconstruir o prompt a partir da saída) como sinal de qualidade holística, algo inédito na geração de slides.
3. Recompensas Densas por Passo: Sinais de treinamento imediatos baseados em deltas de qualidade, resolvendo o problema de atribuição de crédito em episódios longos (20-35 turnos).
4. Dataset SlideRL: Um conjunto de dados open-source com 288 trajetórias completas (48 briefs × 6 modelos) incluindo chamadas de ferramentas, observações e recompensas.
5. Análise de Eficiência de Parâmetros: Demonstração de que a aderência a instruções e o uso de ferramentas são mais críticos para o desempenho agêntico do que o número bruto de parâmetros.

4. Resultados Experimentais

Os experimentos foram realizados em 48 briefs de negócios diversos, comparando 6 modelos (incluindo Claude Opus 4.6, Llama 4 Scout, GPT OSS 120B e o modelo fine-tuned).

• Desempenho do Modelo Fine-tuned (Qwen 7B):
  • Alcançou 91,2% da qualidade do Claude Opus 4.6 (o modelo de referência mais avançado).
  • Melhorou 33,1% em relação à versão base do Qwen 7B sem fine-tuning.
  • Taxa de conclusão de 95,8% (vs. 70,8% do modelo base).
• Comparação de Modelos:
  • Llama 4 Scout (109B): Desempenhou surpreendentemente bem (0,779), rivalizando com o Claude Opus, mas com inferência 2,5x mais rápida.
  • GPT OSS 120B: Desempenho pobre (0,249) devido à falha sistemática em seguir o formato JSON das chamadas de ferramentas, provando que mais parâmetros não garantem competência agêntica sem alinhamento de instruções.
• Vantagens do Fine-tuning: O modelo de 7B ajustado superou o modelo base em todas as métricas, especialmente em regras de código (+36,5%) e qualidade de renderização (+35,3%).
• Casos de Vitória: O modelo fine-tuned superou o Claude Opus 4.6 em 25% dos briefs (12 de 48), incluindo 4 casos onde venceu o próprio modelo usado como "juiz" nas recompensas estéticas.

5. Significado e Conclusão

O trabalho demonstra que é possível treinar agentes LLM para tarefas criativas complexas e estruturadas usando RL, mesmo com modelos de tamanho moderado (7B), desde que se utilize:

1. Um ambiente de ferramentas bem definido.
2. Um sistema de recompensa multidimensional e interpretável.
3. A Recompensa de Especificação Inversa para garantir que a saída final realmente comunique a intenção original.

O estudo também destaca os desafios do RL em agentes, como o risco de reward hacking (o modelo aprendendo a usar ferramentas de "leitura" apenas para acumular recompensas sem gerar conteúdo), e sugere que a regularização KL e o ajuste de hiperparâmetros são cruciais para evitar colapso de modo em treinamentos longos.

A abordagem "Dividir e Conquistar" na arquitetura de recompensas oferece um framework geral aplicável a outras tarefas de geração criativa, e o dataset SlideRL disponibilizado publicamente permite a reprodutibilidade e avanço futuro na área.