Resumo Técnico: OctoT2I: Um Roteador de Texto-para-Imagem Agêntico Autoevolutivo

1. Declaração do Problema

A rápida proliferação de modelos de Texto-para-Imagem (T2I) criou um ecossistema diversificado que varia desde modelos de grande escala e alta fidelidade até variantes leves e de tempo real. No entanto, essa diversidade apresenta um desafio significativo: usuários não profissionais carecem da expertise necessária para selecionar o modelo ideal para tarefas específicas, o que frequentemente leva a resultados subótimos ou sobrecarga computacional desnecessária. Além disso, o escalonamento de modelos únicos está atingindo retornos marginais decrescentes.

Os métodos existentes de "T2I Agêntico", que utilizam Modelos de Linguagem de Grande Escala (LLMs) para orquestrar múltiplas ferramentas, enfrentam três limitações críticas:

1. Aquisição de Conhecimento: Eles dependem de conhecimentos prévios manuais caros ou conjuntos de dados anotados por humanos custosos para o ajuste fino supervisionado (SFT), o que limita a generalização e a escalabilidade.
2. Rigidez de Decisão: A maioria emprega mecanismos de decisão estáticos de caminho único que não podem refinar adaptativamente as escolhas com base em feedback intermediário.
3. Negligência da Eficiência: Trabalhos anteriores frequentemente negligenciam a latência de inferência e o consumo de energia, dificultando a implantação prática.

O objetivo central é reformular o T2I agêntico como uma otimização conjunta da qualidade de geração e da eficiência de inferência, onde um agente seleciona autonomamente a ferramenta mais adequada para um determinado prompt enquanto minimiza o custo computacional.

2. Metodologia: Estrutura OctoT2I

O OctoT2I é uma estrutura agêntica inovadora projetada para operacionalizar esta co-otimização. Ele consiste em uma estratégia de roteamento de múltiplos turnos com estado e um mecanismo de aquisição de conhecimento autoevolutivo.

2.1 Arquitetura do Sistema

O sistema opera através de um loop de "razão-ação-reflexão" envolvendo três módulos principais:

• Módulo de Conhecimento ($K$): Um repositório de longo prazo que armazena capacidades das ferramentas, cenários aplicáveis e custos de inferência. Crucialmente, este módulo começa vazio e é construído autonomamente.
• Módulo de Memória ($M$): Memória de trabalho de curto prazo para a tarefa atual, registrando o histórico de ferramentas utilizadas, imagens geradas e seus escores de avaliação.
• Política de Decisão ($\pi$): Um agente baseado em LLM que, em cada rodada $r$, seleciona uma ferramenta $t_r$ com base no prompt do usuário $p$, no conhecimento $K$ e na memória $M_{r-1}$. A política visa encontrar a ferramenta que satisfaça um limiar de qualidade $\theta$ com o mínimo custo estimado.
• Módulo de Avaliação: Pontua quantitativamente a imagem gerada em relação ao prompt usando uma verificação de alinhamento binária "sim/não" (via MLLM), fornecendo um escore contínuo para guiar a próxima decisão.

O fluxo de trabalho termina quando o escore de qualidade atinge o limiar $\theta$ ou quando um limite máximo de rodadas $R$ é alcançado, entregando a imagem com a maior pontuação.

2.2 Mecanismo Autoevolutivo

Para superar a dependência de supervisão humana, o OctoT2I introduz um Mecanismo Autoevolutivo que constrói autonomamente a base de conhecimento do zero através de um loop "Propor–Resolver–Avaliar–Aprender" (PSEL):

1. Inicialização: O agente define Dimensões Conceituais fundamentais (ex: estilo, cor, contagem, posição) para estruturar o espaço de prompts.
2. Propor: O agente instancia combinações dessas dimensões em prompts textuais concretos.
3. Resolver: Os prompts são executados utilizando diferentes ferramentas na biblioteca.
4. Avaliar: As imagens geradas são pontuadas quanto ao alinhamento com o prompt. O sistema calcula o Pass@1 (a probabilidade de uma única tentativa atender ao limiar de qualidade) para estimar a confiabilidade da ferramenta.
5. Aprender: O agente atualiza sua base de conhecimento com dois tipos de informações:
   • Registros detalhados: Dados específicos de exploração de prompts e taxas de sucesso.
   • Perfis de alto nível: Resumos abstratos de forças, limitações e custos das ferramentas.

2.3 Poda do Espaço de Exploração

Para garantir que o processo de autoevolução seja computacionalmente viável, o sistema emprega uma estratégia de Poda do Espaço de Exploração. Ele segue um princípio de pré-requisito recursivo: uma combinação de dimensão complexa só é explorada se o agente determinar que a ferramenta já domina todas as subcombinações (subtarefas) mais simples dentro dela. Isso foca os recursos na descoberta da "fronteira de capacidade" de cada ferramenta de forma eficiente.

3. Principais Contribuições

1. Estrutura OctoT2I: Um roteador agêntico de múltiplos turnos com estado que seleciona ferramentas adaptativamente com base em feedback em tempo real, conhecimento e memória, otimizando tanto a qualidade quanto a eficiência.
2. Mecanismo Autoevolutivo: Um método inovador que permite aos agentes adquirir conhecimento de ferramentas inteiramente através de autointeração, sem dados externos ou supervisão humana, superando as limitações de conhecimentos prévios manuais.
3. Equilíbrio entre Eficiência e Desempenho: A estrutura alcança desempenho de ponta enquanto entrega ganhos significativos em velocidade de inferência e eficiência energética em comparação com as linhas de base de estado da arte.

4. Resultados Experimentais

Experimentos foram conduzidos nos benchmarks GenEval, T2I-CompBench++ e WISE, juntamente com um estudo de usuário.

• Desempenho: No GenEval, o OctoT2I alcançou uma pontuação geral de 0,96, superando a principal linha de base (Flow-GRPO com 0,93) e todos os outros métodos agênticos. No T2I-CompBench++, alcançou uma pontuação média de 0,6618, superando todos os competidores.
• Eficiência: O OctoT2I demonstrou uma aceleração de inferência de 90,3% e um ganho de eficiência energética de 56,6% sobre a principal linha de base (Flow-GRPO). Foi aproximadamente 45x mais rápido que o Idea2Img e 11x mais rápido que o GenArtist.
• Estudo de Usuário: Em um estudo com 30 pesquisadores e 30 prompts do mundo real, o OctoT2I recebeu uma taxa de votação de 70,4% comparado a 29,6% do ChatGen, com tempos de geração quase 3x mais rápidos (18,45s vs. 53,34s).
• Estudos de Ablação:
  • Remover o mecanismo autoevolutivo (dependendo do conhecimento interno do GPT ou de conhecimentos prévios manuais) resultou em menor desempenho, validando a necessidade da aquisição autônoma de conhecimento.
  • A estratégia de Poda do Espaço de Exploração reduziu o número de prompts explorados em 70,9% e o tempo de exploração em 66,0% sem sacrificar o desempenho final.
  • A estrutura mostrou forte generalização para novas ferramentas (aprendendo Flux1.dev e gpt-image-1 com mínima exploração) e robustez através de diferentes LLMs subjacentes (Qwen, GPT-5).

5. Significância e Alegações

O artigo afirma que o OctoT2I representa um passo significativo à frente nos sistemas de T2I agênticos ao abordar o "trilema" de desempenho, adaptabilidade e eficiência. Sua principal significância reside em:

• Autonomia: Eliminar a dependência de anotações humanas caras para o conhecimento de ferramentas, tornando o sistema escalável e autoaperfeiçoável.
• Tomada de Decisão Dinâmica: Ir além do roteamento estático de tiro único para um processo de múltiplos turnos impulsionado por feedback que se adapta às restrições específicas de cada prompt.
• Sustentabilidade: Demonstrar que a geração de alta qualidade não requer o custo computacional máximo, oferecendo um caminho para uma implantação de IA mais sustentável e prática.

Os autores concluem que mecanismos autoevolutivos e roteamento com estado são direções promissoras para criar sistemas de T2I que sejam simultaneamente mais capazes e mais eficientes, com trabalhos futuros planejados para estender esta estrutura para edição de imagem e geração 3D.