Resumo Técnico: Escalonamento de Interação: Fundamentando o Terceiro Eixo do Computo em Tempo de Teste

Declaração do Problema

As abordagens atuais para melhorar o desempenho de Grandes Modelos de Linguagem (LLMs) no tempo de teste (escalonamento em tempo de inferência) limitam-se a dois eixos "internos": Escalonamento de Raciocínio (gastar mais tokens para pensar por mais tempo) e Escalonamento de Amostragem (gerar múltiplas tentativas e selecionar a melhor). O artigo argumenta que ambos os métodos compartilham um "teto interno" fundamental: eles dependem exclusivamente dos pesos congelados do modelo e do prompt original. Consequentemente, eles podem apenas reorganizar ou selecionar informações que o modelo já possui; eles não podem importar novas informações sobre o comportamento real do artefato.

Além disso, o artigo identifica uma falha crítica na forma como essas melhorias são frequentemente medidas. A avaliação padrão para artefatos visuais e estruturais baseia-se frequentemente em Modelos de Linguagem de Visão (VLMs) analisando capturas de tela (screenshots). Os autores argumentam que isso é "não fundamentado" (ungrounded) porque as capturas de tela são representações com perda que cortam o conteúdo fora da tela e escondem pequenas sobreposições, tornando o juiz estruturalmente cego a defeitos específicos.

Metodologia: Escalonamento de Interação e Fundamentação

O artigo propõe um terceiro eixo: o Escalonamento de Interação. Isso envolve um ciclo fechado onde o modelo propõe um artefato, um instrumento externo observa o comportamento ou a forma real do artefato, e o modelo revisa com base nessa observação.

A tese central é que a Fundamentação (Grounding) é a variável governante para este eixo e deve ser mantida em dois lados do ciclo:

1. Feedback Fundamentado: O sinal que impulsiona a revisão deve vir de um instrumento que observa o comportamento real do artefato (por exemplo, executando testes de código, medindo caixas delimitadoras do DOM), não da opinião de um modelo ou de uma visão com perda (como uma captura de tela).
2. Avaliação Fundamentada: A métrica que pontua o resultado deve usar a mesma observação fundamentada. Se a métrica não for fundamentada (por exemplo, um VLM lendo uma captura de tela), ela não pode detectar melhorias que existem nas partes do artefato que a captura de tela esconde.

O Harness Proposto

Os autores implementam um Harness de Proponente–Revisor:

• Proponente: Um modelo de fronteira congelado (ex: Claude Sonnet 4) gera um artefato.
• Instrumento: Uma ferramenta determinística executa, renderiza ou mede o artefato (ex: pytest para código, um navegador headless para geometria do DOM).
• Revisor: O mesmo modelo atua como um agente de diagnóstico, convertendo o sinal bruto do instrumento (ex: um traceback ou uma lista de caixas sobrepostas) em uma lista estruturada de defeitos.
• Revisão: O proponente usa essa lista para revisar o artefato.
• Seleção: O ciclo se repete até um limite, mantendo a iteração com a maior pontuação fundamentada.

O artigo distingue entre Feedback Não Fundamentado (opinião do modelo, VLM em captura de tela) e Feedback Fundamentado (observação do instrumento). Ele introduz o Princípio da Cobertura: o feedback fundamentado só ajuda na medida em que o instrumento consegue realmente observar o defeito específico. Por exemplo, um linter (fundamentado em forma estática) não pode corrigir bugs de lógica de tempo de execução, e uma captura de tela (fundamentada em pixels) não pode corrigir o transbordamento (overflow) fora da tela.

Principais Contribuições

1. Um Framework de Fundamentação: O artigo formaliza uma taxonomia de canais de feedback, distinguindo opiniões de modelos de observações de instrumentos. Estabelece o Princípio da Cobertura, prevendo que a melhoria é limitada pelo alcance observacional do instrumento.
2. Demonstração de Escalonamento Além dos Tetos Internos: Os autores mostam que, enquanto estratégias de apenas raciocínio e amostragem best-of-N estagnam em um orçamento fixo de tokens, as estratégias de interação continuam a melhorar, atingindo taxas de sucesso perfeitas onde os métodos internos falham.
3. A Necessidade de Métricas Fundamentadas: O artigo demonstra que métricas não fundamentadas (especificamente VLMs lendo capturas de tela) falham em detectar melhorias em artefatos visuais e podem até causar regressão (piorando layouts) quando usadas como revisores.
4. Eficiência Arquitetônica: O harness proponente–revisor mostra-se mais eficiente em termos de tokens e mais confiável (variância zero de semente) em comparação com loops de agente único ou abordagens de amostra e seleção.

Resultados

O estudo avalia o harness através de sete modalidades (Código, Figuras Acadêmicas, Slides, Páginas Web, Animações, Edição de Vídeo, Pesquisa Profunda) usando um orçamento fixo de tokens.

• Tarefas de Código: Em suítes de codificação difíceis (incluindo uma suíte de "especificação profunda" de implementações do zero), o ciclo de feedback de execução fundamentada alcança uma taxa de aprovação de 100%, recuperando cada falha de disparo único (single-shot). Em contraste, o raciocínio puro e a amostragem best-of-N verificada por oráculo estagnam significativamente abaixo de 100% (ex: best-of-N com um verificador oráculo trava em ~86,7% nas tarefas mais difíceis). O harness proponente–revisor alcança isso com ~28% menos tokens do que outras estratégias de interação e variância zero de semente para semente.
• Artefatos Visuais (Figuras, Slides, Web, Animações):
  • O Efeito do "Juiz Cego": Um juiz VLM padrão lendo capturas de tela classificou 14 de 15 figuras acadêmicas visivelmente quebradas como "perfeitas" porque os defeitos (texto sobreposto, conteúdo fora da tela) foram cortados da imagem.
  • Melhoria Fundamentada: Ao usar um instrumento de geometria de DOM determinístico para medir defeitos de layout, o ciclo de interação reduziu os defeitos em 40–74% através das quatro modalidades visuais.
  • Regressão com Revisores Não Fundamentados: Quando um revisor VLM (lendo capturas de tela) foi usado para revisar slides, ele aumentou o número de defeitos geométricos, enquanto o revisor de instrumento de geometria os reduziu em 73%.
• Agnosticismo de Modelo: Os resultados sustentam-se em diferentes famílias de modelos (Sonnet 4, Qwen3-235B, GPT-5), com o teto revisado atingindo consistentemente 100% de taxa de aprovação ou redução máxima de defeitos, independentemente da semente inicial.
• Destilação: Um modelo estudante de 8B destilado das trajetórias de interação do professor recuperou ~51% da capacidade de amostra única do professor e ~70% com duas amostras, sugerindo que a qualidade da interação pode ser parcialmente internalizada, embora o harness fundamentado permaneça necessário para o desempenho total.

Significância e Alegações

O artigo alega que o Escalonamento de Interação é um terceiro eixo distinto e necessário de computo em tempo de teste, separado de raciocínio e amostragem. Sua significância reside em dois insights principais:

1. Quebrando o Teto de Informação: A interação permite que os modelos importem informações que eles não possuem (o comportamento real de um artefato), quebrando o limite onde o escalonamento interno apenas reordena informações conhecidas.
2. O Papel Crítico da Fundamentação: O artigo argumenta que o escalonamento de interação só é visível e eficaz quando tanto o sinal de feedback quanto a métrica de avaliação são fundamentados. Sem uma métrica fundamentada, as melhorias em tarefas visuais e estruturais são invisíveis para os benchmarks padrão, e revisores não fundamentados podem degradar ativamente a qualidade.

Os autores concluem que a lição prática para a área não é simplesmente "adicionar mais loops", mas sim "fundamentar o loop". Para artefatos visuais, isso significa especificamente medir o DOM renderizado ou executar o código, em vez de confiar em juízes VLM baseados em capturas de tela, que são estruturalmente cegos aos defeitos que o escalonamento de interação foi projetado para corrigir.