💻 computer science

LiveFigure: Generating Editable Scientific Illustration with VLM Agents

LiveFigure é um framework agêntico impulsionado por Modelos Visão-Linguagem que imita o fluxo de trabalho multifásico de pesquisadores humanos para gerar ilustrações científicas vetoriais e totalmente editáveis por meio de scripts do PowerPoint, superando significativamente as linhas de base existentes em prontidão para publicação e preferência humana.

Autores originais: Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um cientista que acabou de descobrir uma ideia brilhante e nova. Você precisa desenhar um diagrama para explicá-la ao mundo. No passado, você teria que passar horas arrastando caixas manualmente, desenhando setas e ajustando fontes em softwares como PowerPoint ou Illustrator. É tedioso, como construir uma casa tijolo por tijolo com pinças.

Recentemente, geradores de imagens por IA (como os que criam imagens bonitas a partir de texto) prometeram fazer isso por você. Mas eles tinham uma falha grave: eles pintavam a imagem em uma tela e depois a selavam com verniz. Uma vez que a imagem era feita, você não podia mover uma única caixa ou corrigir um erro de digitação sem pintar tudo novamente. Se você quisesse mover a caixa "Soma Ponderada" para baixo, a IA apenas tentaria redesenhar toda a imagem, frequentemente errando o restante da figura.

LiveFigure é um novo sistema que muda o jogo. Em vez de pintar uma imagem estática, ele age como um arquiteto superinteligente e hiperorganizado que constrói um modelo totalmente editável do seu diagrama.

Veja como funciona, dividido em três etapas simples:

1. Fase "Projeto" (Planejamento Visual)

Antes de construir qualquer coisa, um arquiteto humano observa edifícios bem-sucedidos para ver o que funciona. O LiveFigure faz o mesmo. Ele escaneia milhares de diagramas científicos de alta qualidade de revistas de ponta para aprender as "regras do jogo".

A Analogia: Imagine que você está construindo uma casa na árvore. Em vez de adivinhar onde os galhos ficam, você olha fotos das melhores casas na árvore já construídas. Você aprende que a escada geralmente fica à esquerda e a janela fica voltada para o sol. O LiveFigure usa essa "memória visual" para esboçar um projeto mental do seu diagrama antes de escrever uma única linha de código.

2. Fase "Construção" (Geração Procedural)

É aqui que o LiveFigure difere de outras IAs. Em vez de pintar pixels, ele escreve código (especificamente, scripts Python que se comunicam com o Microsoft PowerPoint).

A Analogia: Pense em outras IAs como um pintor que mistura cores em uma paleta. O LiveFigure é um marceneiro robótico com uma caixa de ferramentas de peças pré-fabricadas e perfeitas. Ele não tenta "adivinhar" como desenhar uma caixa; ele usa uma ferramenta pré-testada chamada add_box(). Ele não adivinha como desenhar uma seta; ele usa uma ferramenta chamada add_connector().
O Truque da "Experiência": Às vezes, até robôs cometem erros (como tentar usar um martelo como chave de fenda). O LiveFigure mantém um "diário de erros". Se ele tentar fazer algo que travou o programa antes, ele lembra: "Nunca faça isso novamente!" Isso ajuda a escrever código que realmente funciona na primeira tentativa.

3. Fase "Controle de Qualidade" (Refinamento Direcionado)

Uma vez que o robô constrói o diagrama, um "Inspetor Visual" (outra IA) examina o resultado.

A Analogia: Imagine que o marceneiro constrói uma prateleira, mas o inspetor percebe que um parafuso está saltando ou que a prateleira está levemente torta. Em vez de derrubar toda a prateleira e começar de novo, o inspetor aponta para o parafuso específico e diz: "Gire este no sentido horário."
O LiveFigure faz esses ajustes minúsculos e precisos no código. Ele corrige a seta torta ou a caixa de texto sobreposta sem tocar no restante do diagrama.

O Resultado: Um Diagrama de "Lego"

A saída final não é uma imagem plana (como um JPEG). É um arquivo PowerPoint onde cada caixa, seta e palavra é um objeto separado e móvel.

Por que isso importa: Se você quiser mudar a cor de uma caixa, basta clicar nela e alterar a cor. Se quiser mover uma seção inteira, você a arrasta e as setas automaticamente se esticam e curvam para segui-la. É como construir com peças de Lego em vez de despejar concreto.

O Que o Artigo Encontrou

Os pesquisadores testaram o LiveFigure contra os melhores modelos de IA geradora de imagens (como o "Nano Banana" do Google e o "GPT-Image" da OpenAI) e ferramentas de codificação tradicionais.

O Teste "Consertar": Eles pediram a humanos que pegassem os diagramas gerados por IA e os preparassem para um artigo científico.
- Outras IAs: O humano precisava fazer cerca de 30+ edições para consertar a bagunça, e mesmo assim, apenas 24% dos diagramas eram bons o suficiente para uso.
- LiveFigure: O humano precisava fazer apenas cerca de 17 edições (maioria pequenos ajustes), e 80% dos diagramas estavam prontos para publicação imediatamente.
Preferência Humana: Quando as pessoas viram dois diagramas lado a lado (um do LiveFigure, outro da concorrência), escolheram o LiveFigure 60% das vezes porque parecia mais profissional e fazia mais sentido logicamente.

Em Resumo

O LiveFigure não apenas "desenha" uma imagem; ele constrói um diagrama usando um processo inteligente e passo a passo que imita como especialistas humanos pensam. Ele cria um diagrama que você pode realmente editar, corrigir e aperfeiçoar, transformando a tarefa difícil da ilustração científica em algo que parece brincar com Legos digitais.

Resumo Técnico: LiveFigure

Declaração do Problema
Ilustrações científicas são críticas para comunicar metodologias complexas e estruturas conceituais, contudo sua criação permanece um processo intensivo em mão de obra, exigindo profundo conhecimento de domínio e proficiência com ferramentas de design profissionais. Embora modelos recentes de geração de imagens tenham avançado a edição baseada em prompts, eles fundamentalmente geram imagens raster estáticas baseadas em pixels. Este paradigma apresenta duas limitações primárias para a publicação científica:

Falta de Editabilidade: Saídas raster tratam figuras como blocos visuais indivisíveis. Corrigir imprecisões estruturais menores, erros de ortografia ou desalinhamentos de layout exige regeneração completa via prompts iterativos de linguagem natural, o que falha em suportar o processo de edição de granularidade fina e verificável essencial na escrita científica.
Incompatibilidade de Formato: Veículos acadêmicos de alto nível (por exemplo, Nature, Science) mandam formatos vetoriais para submissão para garantir escalabilidade independente de resolução e editabilidade nativa. Modelos generativos existentes não podem produzir gráficos vetoriais, e soluções alternativas atuais (por exemplo, decomposição de camadas ou geração baseada em código) permanecem baseadas em pixels ou produzem saídas visualmente simplificadas e não editáveis.

Metodologia: Construção Procedural Inspirada na Cognição
Os autores propõem o LiveFigure, um framework agêntico impulsionado por Modelos Visão-Linguagem (VLMs) que abandona a geração de pixels ponta a ponta em favor de um paradigma de "Construção Procedural Inspirada na Cognição". Esta abordagem imita o fluxo de trabalho cognitivo em etapas de especialistas humanos: recuperar referências, conceitualizar projetos, montar ativos e refinar com base em feedback visual. O framework opera através de três etapas sequenciais:

Planejamento Visual via Indução Prévia ( $\Psi_{plan}$ ):
- O sistema constrói uma base de conhecimento de figuras metodológicas de alta qualidade de conferências de alto nível (ICLR, NeurIPS, ICML).
- Um agente de recuperação busca figuras de referência semanticamente relevantes com base no texto metodológico de entrada.
- Um VLM analisa essas referências para destilar priores de design e estruturas de layout, gerando um plano estrutural personalizado e um projeto visual.
- Um módulo de geração de ativos sintetiza ícones consistentes em estilo para entidades complexas usando uma estratégia de geração em lote baseada em grade.
Geração Procedural de Figuras via Habilidades e Experiência ( $\Psi_{assemble}$ ):
- O LiveFigure seleciona o Microsoft PowerPoint como suporte de saída devido à sua onipresença na pesquisa, estrutura XML aberta e acessibilidade programática via python-pptx.
- Em vez de solicitar código bruto, o sistema utiliza uma Biblioteca de Habilidades Padronizada ( $S$ ) contendo funções semânticas de alto nível pré-validadas (por exemplo, roteamento de conectores, composição de formas de texto aninhadas).
- Um mecanismo de Injeção de Experiência incorpora restrições de depuração acumuladas (restrições negativas) para prevenir alucinações de API conhecidas e erros de parâmetro.
- Um loop de execução auto-corretivo lida com erros de tempo de execução alimentando rastros de pilha de volta ao modelo para refinamento iterativo de código até que um script válido seja produzido.
Refinamento Direcionado via Diagnósticos Visuais ( $\Psi_{refine}$ ):
- Para preencher a lacuna entre lógica de código e percepção visual, um VLM "crítico visual" inspeciona a figura renderizada.
- Ele identifica defeitos sutis invisíveis à lógica de código (por exemplo, oclusão de elementos, desalinhamento, estilo inconsistente) e gera uma lista estruturada de problemas acionáveis.
- O sistema aplica atualizações incrementais em nível de código para abordar esses problemas específicos, iterando até que a figura atenda aos padrões de publicação.

Principais Contribuições

Paradigma Novel: Introdução da "Construção Procedural Inspirada na Cognição", que desloca a geração de figuras científicas de manipulação de pixels para um fluxo de trabalho em etapas, impulsionado por código, que garante editabilidade inerente.
Framework LiveFigure: Um sistema multiagente prático que produz arquivos fonte do PowerPoint totalmente editáveis e vetorizados, superando as limitações de modelos baseados em raster e a rigidez de ferramentas tradicionais baseadas em código.
Validação Empírica: Experimentos extensivos demonstrando que o framework gera figuras que exigem intervenção manual mínima para atingir prontidão de publicação.

Resultados Experimentais
O framework foi avaliado em um conjunto de dados de 300 figuras esquemáticas científicas derivadas de artigos aceitos no ICLR 2024, NeurIPS 2024 e ICML 2024.

Editabilidade: O LiveFigure alcançou uma taxa de prontidão para publicação de 80% com uma mediana de apenas 17 edições manuais (Distância de Edição). Isso superou significativamente a linha de base mais forte, NanoBanana (Gemini-3-Pro-Image), que alcançou apenas 24% de taxa.
Preferência Humana: Em comparações pareadas duplo-cegas, o LiveFigure garantiu uma taxa de vitória de 60% contra o NanoBanana e uma taxa de vitória de 69% contra o GPT-Image-1.5, com todos os intervalos de confiança excedendo estritamente o limiar de 50%.
Métricas de Qualidade: O LiveFigure demonstrou desempenho superior em Fidelidade de Conteúdo (Precisão: 8,29, Completude: 8,16 sob entrada V2) comparado a geradores raster, mantendo ao mesmo tempo pontuações competitivas em Design Visual. Superou ferramentas baseadas em código (por exemplo, Matplotlib, Graphviz) em qualidade estética e flexibilidade de layout.
Estudos de Ablação: Remover a Biblioteca de Habilidades causou uma queda catastrófica na executabilidade do código (de 83,5% para 40,0%), enquanto remover o módulo de Experiência aumentou a distância de edição mediana em quase 4x, confirmando a necessidade de ambos os componentes.

Significado e Alegações
O artigo alega que o LiveFigure aborda fundamentalmente a "lacuna de editabilidade" na ilustração científica ao desacoplar a geração da manipulação de pixels. Ao aproveitar o PowerPoint como um formato vetorial intermediário e editável, o sistema democratiza a criação de figuras de alta qualidade, reduzindo a barreira técnica para pesquisadores de diversas disciplinas. Os autores afirmam que sua abordagem permite uma colaboração humana-IA perfeita, onde a IA lida com tarefas estruturais e de layout espacial intensivas em mão de obra, deixando o refinamento estético final para o usuário. O trabalho posiciona-se como um agente especializado que transforma designs de pesquisa abstratos em figuras editáveis com padrão de publicação, preenchendo a lacuna entre assistência de pesquisa automatizada e os rigorosos padrões visuais da publicação acadêmica.