Aligning Compound AI Systems via System-level DPO

O artigo apresenta o SysDPO, um framework que alinha sistemas de IA compostos com preferências humanas ao modelá-los como grafos acíclicos direcionados e estender a Otimização Direta de Preferências (DPO) para superar desafios como interações não diferenciáveis e a dificuldade de traduzir preferências de nível de sistema para componentes individuais.

O essencial

Imagine que você está montando uma equipe de especialistas para resolver um problema complexo. Você tem um Escritor (um modelo de linguagem, como o ChatGPT) que é ótimo em criar ideias, e um Pintor (um modelo de geração de imagens, como o DALL-E) que é incrível em visualizar essas ideias.

O objetivo é que eles trabalhem juntos perfeitamente: o Escritor descreve uma cena, e o Pintor a desenha exatamente como descrito.

O Problema: A "Dança Descoordenada"

O artigo explica que, quando você apenas coloca esses dois modelos lado a lado, eles muitas vezes não dançam juntos.

• O Escritor pode escrever: "Desenhe um gato ficando cada vez mais bravo".
• O Pintor pode ouvir isso e desenhar três gatos, mas todos com a mesma expressão de raiva, ou com a raiva na ordem errada.

Isso acontece porque:

1. Eles não conseguem "sentir" o erro do outro. Se o Pintor erra, o Escritor não recebe um sinal elétrico direto para corrigir a próxima frase (é como se eles falassem línguas diferentes).
2. O humano só vê o resultado final (os desenhos). Ele não sabe dizer exatamente se o erro foi na frase do Escritor ou no traço do Pintor. É difícil dar a culpa a um só.

A Solução: O "Maestro" (SysDPO)

Os autores criaram um novo método chamado SysDPO. Pense nele como um Maestro de Orquestra que ensina a equipe inteira a tocar em harmonia, em vez de treinar cada músico isoladamente.

Aqui está como eles fazem isso, usando analogias simples:

1. O Mapa do Tesouro (Grafos Acíclicos Direcionados)

Primeiro, eles desenharam um mapa de como a informação flui.

• Imagine um fluxo: Entrada (o pedido do usuário) $\rightarrow$ Escritor (cria o texto) $\rightarrow$ Pintor (cria a imagem).
• Esse mapa mostra que o Pintor depende do Escritor. Se o Escritor errar, o Pintor não tem como acertar. O SysDPO usa esse mapa para entender quem é responsável pelo que.

2. Duas Estratégias de Treino

O SysDPO tem duas versões, dependendo de quanta informação o maestro tem:

• Versão 1: O Treino com "Câmeras em Todo Lugar" (SysDPO-Direct)

  • Cenário: Você tem acesso a tudo. Você vê o texto que o Escritor criou E a imagem que o Pintor fez.
  • Como funciona: O maestro olha para o par (Texto + Imagem) e diz: "Esse par foi ótimo! Aquele par foi ruim". Ele ajusta o Escritor e o Pintor ao mesmo tempo, garantindo que eles aprendam a colaborar. É como se você pudesse ver o rascunho do pintor e a nota do escritor ao mesmo tempo.

• Versão 2: O Treino por "Adivinhação Inteligente" (SysDPO-Sampling)

  • Cenário: Você só vê o resultado final (a imagem), mas não tem acesso ao texto intermediário que o Escritor gerou (ou é muito caro guardar tudo).
  • Como funciona: O maestro faz uma "simulação". Ele pede ao Escritor para criar 3 ou 4 versões diferentes do texto. Depois, ele vê qual dessas versões gerou a melhor imagem final. Ele usa essa "amostragem" para ensinar o sistema. É como se o maestro dissesse: "Vamos tentar 4 ideias diferentes e ver qual combinação funciona melhor", e aprende com o resultado.

Por que isso é importante?

Antes desse método, se você quisesse melhorar um sistema composto, teria que treinar o Escritor sozinho e o Pintor sozinho, como se fossem atletas treinando em salas separadas. O resultado? Eles chegavam na competição (o sistema final) e não sabiam se passar a bola.

Com o SysDPO:

• Eles aprendem a trabalhar em equipe.
• O sistema entende que a qualidade final depende da colaboração, não apenas de um indivíduo.
• Os testes mostraram que, com esse método, o sistema consegue seguir instruções complexas (como "faça uma sequência de imagens mostrando uma emoção crescendo") com muito mais sucesso do que os métodos antigos.

Resumo em uma frase

O artigo apresenta um novo "treinador" que ensina equipes de IA a trabalharem juntas, garantindo que o todo seja maior e mais inteligente do que a soma das partes, mesmo quando não é possível ver exatamente onde cada um errou no caminho.

Resumo técnico

Resumo Técnico: Alinhamento de Sistemas de IA Compostos via DPO de Nível de Sistema

1. O Problema

Os Sistemas de IA Compostos (Compound AI Systems) consistem em múltiplos componentes interagentes (como Grandes Modelos de Linguagem - LLMs, modelos de fundação, ferramentas externas) que trabalham juntos para realizar tarefas complexas, superando as capacidades de modelos individuais. Exemplos incluem sistemas de RAG (Retrieval-Augmented Generation), roteadores de múltiplos LLMs e pipelines que combinam geração de texto com geração de imagens.

Apesar de seu potencial, alinhar esses sistemas com as preferências humanas é extremamente desafiador devido a duas barreiras principais:

1. Interações Não Diferenciáveis: Os componentes frequentemente se comunicam através de canais não diferenciáveis (como texto natural ou saídas de ferramentas), impedindo a otimização de gradiente end-to-end tradicional.
2. Preferências Não Decomponíveis: As preferências no nível do sistema não podem ser simplesmente decompostas em preferências para cada componente individualmente. Otimizar cada parte isoladamente ignora a coordenação necessária entre elas, levando a falhas de coerência (ex: um LLM gera um prompt que o modelo de imagem não consegue seguir corretamente para criar uma progressão lógica).

Métodos existentes como DPO (Direct Preference Optimization) e RLHF são projetados para modelos monolíticos e não se aplicam diretamente a essas arquiteturas complexas.

2. Metodologia: O Framework SysDPO

Os autores propõem o SysDPO, um framework que estende o DPO para alinhar sistemas compostos de forma conjunta. A abordagem baseia-se em três pilares fundamentais:

A. Modelagem como Grafos Acíclicos Direcionados (DAGs)

O sistema é modelado como um DAG, onde:

• Nós: Representam variáveis (entrada $x$, saídas intermediárias $y_i$, saídas finais $z_j$).
• Arestas: Capturam o fluxo de dados entre os componentes.
  Essa estrutura permite decompor a probabilidade conjunta de geração em termos condicionais de cada modelo, facilitando a otimização.

B. Duas Variantes do SysDPO

Dependendo da disponibilidade de dados de saídas intermediárias, o framework oferece duas abordagens:

1. SysDPO-Direct:

   • Cenário: Utilizado quando as saídas intermediárias são observáveis e disponíveis no conjunto de dados de preferência.
   • Mecanismo: Decomposição direta da probabilidade do sistema $p(s|x)$ como o produto das probabilidades de cada componente. A função de perda do DPO é aplicada diretamente sobre o conjunto completo de variáveis geradas (intermediárias e finais).
   • Vantagem: Permite otimização end-to-end via descida de gradiente, alinhando todos os componentes simultaneamente com base nas preferências do sistema.

2. SysDPO-Sampling:

   • Cenário: Utilizado quando apenas as entradas e as saídas finais são conhecidas (comum em datasets de preferência existentes), e as saídas intermediárias são ocultas.
   • Mecanismo: Aproxima a probabilidade marginal $p(z|x)$ integrando sobre as saídas intermediárias. Como a soma sobre todos os espaços de texto é intratável, o método utiliza Busca em Feixe Diversa (Diverse Beam Search - DBS) para amostrar um pequeno conjunto de candidatos intermediários prováveis e distintos.
   • Otimização: A função de perda é aproximada usando essas amostras, permitindo o treinamento end-to-end sem necessidade de dados intermediários rotulados.

C. Análise Teórica

Os autores provam que, sob o modelo de preferência de Bradley-Terry, o SysDPO atinge o alinhamento $\beta$-perfeito no cenário populacional (dados infinitos). Isso generaliza as garantias teóricas do DPO padrão para sistemas compostos, demonstrando que a otimização conjunta leva a uma política alinhada com o oráculo de preferência, mesmo na presença de componentes ocultos ou não diferenciáveis.

3. Contribuições Principais

1. Formulação DAG: Modelagem formal de sistemas de IA compostos como DAGs para decompor probabilidades e lidar com a não diferenciabilidade.
2. Framework SysDPO: Introdução de um método de alinhamento baseado em DPO que funciona tanto com dados intermediários observáveis (Direct) quanto ocultos (Sampling).
3. Garantias Teóricas: Demonstração de que o SysDPO converge para o alinhamento ótimo, generalizando o DPO clássico.
4. Validação Empírica: Aplicação bem-sucedida em dois cenários distintos:
   • Alinhamento conjunto de um LLM e um modelo de difusão (texto-para-imagem).
   • Alinhamento de um sistema de colaboração entre dois LLMs (pipeline de duas etapas).

4. Resultados Experimentais

Cenário 1: LLM + Modelo de Difusão (Geração de Imagens)

• Tarefa: Gerar uma sequência de imagens com uma progressão visual clara de um atributo (ex: raiva de um gato).
• Desafio: O LLM gera legendas (prompts) e o modelo de difusão gera as imagens. Sem alinhamento, a progressão visual falha frequentemente.
• Resultados:
  • O sistema antes do alinhamento teve uma taxa de consistência de ordem de apenas 32%.
  • O SysDPO-Direct alcançou a melhor pontuação, com 73% de consistência de ordem e a maior pontuação de preferência.
  • Treinar apenas o LLM ou apenas o modelo de difusão isoladamente resultou em desempenho inferior, destacando a necessidade de alinhamento conjunto.

Cenário 2: Colaboração entre LLMs (Perguntas e Respostas)

• Tarefa: Um pipeline de duas etapas onde o primeiro LLM gera uma resposta intermediária e o segundo refina a resposta final.
• Comparação: SysDPO-Sampling vs. Alinhamento Separado (treinar cada LLM individualmente) vs. Sistema apenas com Prompting.
• Resultados:
  • O SysDPO-Sampling superou significativamente o sistema não otimizado e o alinhamento separado.
  • A taxa de vitória (Win Rate) contra respostas preferidas humanas aumentou de 12.8% (apenas prompting) para 19.8% (SysDPO-Sampling), uma melhoria relativa de 55%.
  • O alinhamento conjunto mostrou que ambos os componentes se beneficiam da supervisão no nível do sistema, embora o segundo estágio tenha um impacto maior na qualidade final.

5. Significado e Impacto

Este trabalho é fundamental para o avanço de sistemas de IA complexos e modulares.

• Superação de Limitações de Otimização: Resolve o problema de como otimizar sistemas onde os gradientes não podem fluir através de todos os componentes.
• Coerência Sistêmica: Demonstra que alinhar componentes isoladamente é insuficiente; a coordenação entre eles é crucial para tarefas complexas.
• Aplicabilidade Prática: Oferece uma solução viável para alinhar sistemas em domínios críticos como saúde e educação, onde a segurança e a usabilidade dependem da interação correta entre múltiplas ferramentas de IA.
• Futuro: Abre caminho para o desenvolvimento de arquiteturas de IA compostas mais robustas, escaláveis e seguras, indo além da simples otimização de modelos monolíticos.

Em resumo, o SysDPO estabelece um novo paradigma para o alinhamento de sistemas de IA compostos, garantindo que a soma das partes seja não apenas funcional, mas também alinhada com as intenções humanas de forma coerente e robusta.