🤖 machine learning

DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation

O artigo apresenta o DeltaPrompts, um conjunto de dados com 200 mil problemas de raciocínio sintéticos gerados por um pipeline em etapas que visa prompts de "delta zero" nos quais os modelos professor e aluno concordam, maximizando assim os sinais de aprendizado e alcançando melhorias relativas de desempenho de até 15% em diversos cenários de destilação multimodal.

Autores originais: Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

Publicado 2026-05-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A "Armadilha do Zero-Delta"

Imagine que você é um estudante tentando aprender a resolver problemas matemáticos complexos com um professor genial. Você quer aprender observando o professor resolver problemas e depois tentando resolvê-los você mesmo. Esse processo é chamado de destilação.

Geralmente, os pesquisadores apenas pegam uma grande pilha de problemas matemáticos existentes (como os de um livro didático) e os usam para esse treinamento. Mas os autores deste artigo descobriram uma falha oculta nessa abordagem: a maioria desses problemas é muito fácil para o estudante.

Eles chamam isso de "Armadilha do Zero-Delta".

O Cenário: Você dá um problema ao professor. O professor o resolve. Então, você dá o mesmo problema exato ao estudante.
A Armadilha: O estudante já sabe como resolvê-lo perfeitamente. Ele obtém a mesma resposta exata que o professor.
O Resultado: Como o estudante e o professor concordam 100%, o estudante não aprende nada. É como um professor explicando um conceito para um aluno que já dominou isso ontem. O cérebro do aluno não se ilumina; nenhuma nova conexão é feita.

O artigo descobriu que, em conjuntos de dados padrão usados para raciocínio em gráficos e documentos, até 69% dos problemas são "Zero-Delta". O estudante e o professor já estão na mesma página, então treiná-los com eles é uma perda de tempo. Mesmo que você dê ao estudante 100 vezes mais desses problemas fáceis, ele não ficará mais inteligente.

A Solução: Medindo a "Lacuna" (Delta)

Para corrigir isso, os autores criaram uma nova regra: Um problema só é útil se o professor e o estudante discordarem.

Eles chamam essa discordância de "Divergência de Resposta" (ou Delta, $\Delta$ ).

Alto Delta: O professor resolve de um jeito, e o estudante erra (ou chuta diferente). Esta é uma oportunidade de aprendizado. O estudante percebe: "Ah, eu perdi aquela etapa!" e aprende com a correção do professor.
Zero Delta: Ambos acertam. Nenhum aprendizado ocorre.

O artigo argumenta que, para criar uma IA inteligente, você não precisa de mais dados; você precisa de melhores dados — especificamente, dados onde a IA realmente tenha dificuldade.

O Conserto: Construindo um Conjunto de Dados "Delta"

Como os livros didáticos existentes estão cheios de problemas "Zero-Delta", os autores construíram um novo sistema para criar seus próprios problemas. Eles chamam esse novo conjunto de dados de DELTAPROMPTS.

Veja como eles o construíram, usando uma receita de três etapas:

Geração Guiada por Sementes (O Esboço): Eles pegaram problemas existentes e pediram a uma IA poderosa (o "Professor") que criasse novas versões, mais difíceis deles. Pense nisso como um professor olhando para um problema matemático e dizendo: "Ok, vamos tornar isso um pouco mais complicado."
Geração Guiada por Habilidades (O Alvo): Este é o segredo. O sistema analisa onde a IA estudante falhou no passado. Ela pergunta ao Professor: "Qual habilidade específica o estudante perdeu?" (por exemplo: "O estudante não conseguiu ler os números minúsculos no gráfico"). Então, o Professor gera um novo problema projetado especificamente para testar exatamente essa habilidade fraca.
O Filtro de Rejeição (O Porteiro): Eles geram milhares de novos problemas. Mas antes de mantê-los, eles fazem um teste: "O estudante erra isso enquanto o professor acerta?"
- Se Sim (Alto Delta): Mantenha.
- Se Não (Zero Delta): Descarte.

O resultado é um conjunto de dados de 200.000 problemas feitos sob medida onde o estudante é garantido a ter dificuldade, assegurando o máximo de aprendizado.

Os Resultados: Potencializando o Estudante

Os autores testaram esse novo conjunto de dados em diferentes modelos de IA. Os resultados foram impressionantes:

Ganhos Massivos: Mesmo ao treinar um modelo de IA já muito inteligente, o uso de DELTAPROMPTS melhorou seu desempenho em até 15% comparado ao uso de conjuntos de dados padrão.
Funciona em Novos Estudantes: Eles pegaram os problemas feitos para um tipo de IA e os deram a um tipo de IA completamente diferente. Ainda funcionou! Isso prova que os problemas não estão apenas memorizando respostas específicas; eles estão ensinando habilidades gerais de raciocínio.
Melhor em Tudo: A IA não ficou apenas melhor em gráficos; ficou melhor em ler documentos e entender imagens do mundo real também.

A Conclusão

O artigo conclui que o gargalo no ensino de IA não é ter mais dados; é ter os dados certos.

A Analogia:
Se você quer ficar em forma, correr na esteira a 1,6 km/h (Zero-Delta) não ajudará, mesmo que você corra por 10 horas. Você precisa correr em uma velocidade onde está se esforçando, mas ainda consegue terminar (Alto-Delta). DELTAPROMPTS é o treinador pessoal que ajusta constantemente a velocidade para garantir que você esteja sempre nesse "ponto ideal" de aprendizado, em vez de deixar você deslizar em problemas fáceis.

Ao focar na lacuna entre o que a IA sabe e o que ela precisa aprender, os autores criaram uma maneira muito mais eficiente de treinar modelos de IA menores e mais inteligentes.

Resumo Técnico: DeltaPrompts – Escapando da Armadilha do Delta-Zero em Destilação Multimodal

Declaração do Problema

A destilação de conhecimento tornou-se um mecanismo pivotal para dotar Modelos Visão-Linguagem (VLMs) compactos de fortes capacidades de raciocínio, aproveitando modelos professores mais robustos. No entanto, as práticas atuais dependem fortemente de conjuntos de dados prontos (por exemplo, ChartQA, SciVQA), onde os prompts são selecionados por meio de heurísticas simples ou agregados de pools existentes. Os autores identificam uma ineficiência crítica nessa abordagem: uma parcela significativa desses prompts são "delta-zero".

Um prompt é definido como delta-zero quando os modelos professor e aluno induzem exatamente a mesma distribuição de respostas para uma determinada entrada. Nesses casos, o sinal de destilação oferece valor de aprendizado mínimo, pois o aluno não é exposto a uma lacuna de capacidade que precisa ser superada. O artigo revela que até 69% dos prompts em conjuntos de dados padrão de raciocínio com gráficos e documentos são efetivamente delta-zero. O treinamento nesses prompts faz com que o desempenho do aluno sature rapidamente, independentemente da escala dos dados. Além disso, filtrar simplesmente conjuntos de dados existentes para reter apenas prompts não delta-zero é subótimo, pois reduz drasticamente a diversidade dos dados de treinamento (em até 29,4%), levando a um trade-off onde a divergência é ganha à custa da generalização.

Metodologia

Para abordar a armadilha do delta-zero, os autores propõem uma mudança da curadoria passiva de dados para a síntese ativa de prompts, impulsionada pelo princípio da Divergência de Resposta ( $\Delta$ ).

1. Definindo Divergência de Resposta

Em vez de medir a divergência ao nível da sequência (que é ruidosa e computacionalmente intratável devido a saídas de comprimento variável), os autores definem Divergência de Resposta sobre o espaço discreto das respostas finais.

Métrica: $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$ , onde $P_\theta$ e $P_T$ são as distribuições empíricas de respostas do aluno e do professor, respectivamente.
Estimação: As distribuições são aproximadas amostrando $K=16$ trajetórias de ambos os modelos. Um juiz LLM (Qwen3-32B) agrupa respostas semanticamente equivalentes para lidar com variações de superfície, permitindo o cálculo robusto da divergência mesmo para respostas abertas.

2. O Pipeline de Síntese DELTAPROMPTS

Os autores propõem um pipeline de síntese em estágios que reaproveita conjuntos de dados existentes como sementes, em vez de recursos de treinamento diretos. O pipeline consiste em três estágios:

Estágio 1: Geração Guiada por Sementes: Pares imagem-prompt existentes são usados como exemplos few-shot para instruir o modelo professor a gerar problemas novos e mais difíceis para novas imagens. Isso expande o pool de candidatos.
Estágio 2: Geração Guiada por Habilidades: Para mirar explicitamente modos de falha do aluno, o pipeline extrai "habilidades" contrastando trajetórias do professor (corretas) contra trajetórias do aluno (incorretas) para prompts com divergência não nula. Essas habilidades (por exemplo, "interpolar escalas logarítmicas") são então usadas para condicionar o gerador de dados, forçando-o a criar prompts que exigem essas capacidades específicas ausentes.
Estágio 3: Rejeição de Delta-Zero: Todos os prompts gerados são avaliados quanto à divergência de resposta. Prompts onde o professor e o aluno concordam (delta-zero) são rejeitados. Apenas prompts com alta consistência do professor e divergência não nula são retidos.

Este processo resulta em DELTAPROMPTS, um conjunto de dados de 200 mil problemas de raciocínio sintéticos e de alta divergência, cobrindo raciocínio com gráficos/documentos e raciocínio centrado em percepção de alta resolução.

Contribuições Principais

Identificação da Armadilha do Delta-Zero: O artigo demonstra empiricamente que conjuntos de dados padrão de raciocínio multimodal são dominados por prompts delta-zero, que levam à saturação precoce do desempenho do aluno durante a destilação.
Divergência de Resposta como Métrica Principiada: Os autores introduzem a divergência de resposta como uma métrica tratável e crítica para quantificar a lacuna de capacidade entre professor e aluno, mostrando que é um preditor mais forte do sucesso da destilação do que a escala bruta de dados ou a diversidade sozinhas.
Um Pipeline de Síntese em Dois Estágios: Um método inovador para gerar dados de treinamento de alta qualidade que busca ativamente modos de falha do aluno via geração guiada por habilidades, em vez de filtrar passivamente dados existentes.
Conjunto de Dados DELTAPROMPTS: Um conjunto de dados em grande escala e diversificado de 200 mil prompts especificamente projetados para maximizar a divergência de resposta, superando misturas existentes em métricas de divergência e diversidade.

Resultados Experimentais

Os autores avaliam o DELTAPROMPTS em três configurações distintas usando as famílias de modelos Qwen3-VL e GLM-4:

Destilação On-Policy: Ao destilar um aluno (Qwen3-VL-8B-Thinking) a partir de um professor (Qwen3-VL-235B-Thinking), o DELTAPROMPTS produz até 15% de melhoria relativa em 10 benchmarks (incluindo ChartQA, InfoVQA e RealWorldQA), mesmo quando o aluno base já é um modelo de raciocínio altamente otimizado.
Transferência Cross-Family: O conjunto de dados generaliza para uma família de modelos diferente (GLM-4.1V-9B-Thinking) sem regenerar os dados, simplesmente re-filtrando para divergência não nula sob o novo par.
Ajuste Fino Off-Policy (SFT): Quando usado para ajuste fino supervisionado padrão em um modelo não de raciocínio (Qwen3-VL-8B-Instruct), o DELTAPROMPTS supera substancialmente o SFT em misturas de dados existentes e mostra melhor retenção em tarefas fora de domínio (Matemática, Lógica, STEM) em comparação ao SFT padrão.
Estudos de Ablação:
- Divergência vs. Diversidade: Controlando a diversidade, o treinamento em prompts delta ( $\Delta > 0$ ) continua a melhorar o desempenho com o tamanho dos dados, enquanto prompts delta-zero ( $\Delta = 0$ ) saturam imediatamente.
- Filtragem de Consistência: Prompts onde o professor é inconsistente (difíceis de resolver mesmo para o professor) degradam o desempenho, validando a necessidade de filtragem baseada em consistência no pipeline de síntese.

Significado e Alegações

O artigo alega que o gargalo central na destilação multimodal não é a agregação de mais prompts ou trajetórias, mas a construção de prompts onde o professor e o aluno discordam significativamente.

Ao mudar o foco da quantidade de dados para a qualidade da divergência, os autores demonstram que a síntese direcionada de prompts pode produzir ganhos substanciais com significativamente menos dados em comparação à agregação heurística de conjuntos de dados existentes. O trabalho sugere que a divergência de resposta é uma propriedade fundamental para a escalabilidade eficaz na destilação, oferecendo um caminho para treinar modelos compactos capazes de forma mais eficiente. Os autores posicionam o DELTAPROMPTS não apenas como um conjunto de dados, mas como uma prova de conceito para uma abordagem mais principiada e centrada em dados à destilação que visa ativamente as lacunas de capacidade específicas do modelo aluno.