🤖 AI

Do LLMs Favor Their Providers? Measuring Vertical Integration Bias in Code Generation

Este artigo apresenta o \textsc{VIBench} para demonstrar que os modelos de linguagem grandes afiliados a provedores exibem um Viés de Integração Vertical significativo na geração de código, favorecendo seus próprios ecossistemas em detrimento de alternativas — uma tendência que é estatisticamente significativa na geração direta e substancialmente amplificada em fluxos de trabalho agênticos.

Autores originais: Melih Catal, Alex Wolf, Tiago Ferreiro Matos, Pooja Rani, Harald Gall

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Melih Catal, Alex Wolf, Tiago Ferreiro Matos, Pooja Rani, Harald Gall

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um chef pessoal para preparar uma refeição para sua família. Você diz ao chef: "Faça um prato de massa delicioso usando qualquer molho de alta qualidade que você gostar."

Agora, imagine que este chef é empregado por uma rede específica de restaurantes, vamos chamá-la de "TastyTown". Mesmo que você não tenha pedido molho da TastyTown, e mesmo que existam muitos outros molhos excelentes disponíveis (como "SauceCo" ou "FlavorWorld"), o chef instintivamente pega o molho da TastyTown. Ele faz isso não porque foi instruído, mas porque trabalha lá.

Este artigo trata de um fenômeno semelhante, mas, em vez de chefs e molhos, trata-se de assistentes de codificação de Inteligência Artificial (IA) e serviços de software.

O Problema Central: O Viés da "Empresa Familiar"

Os pesquisadores chamam esse comportamento de Viés de Integração Vertical (VIB).

No mundo da tecnologia, grandes empresas frequentemente possuem duas coisas:

O modelo de IA que escreve código (o chef).
Os serviços em nuvem que o código utiliza (os ingredientes).

O artigo pergunta: Quando uma IA escreve código, ela favorece secretamente os "ingredientes" de seu proprietário, mesmo quando existem outras boas opções?

O Experimento: O Teste de Sabor "VIBENCH"

Para descobrir, os pesquisadores criaram um teste de sabor gigantesco chamado VIBENCH.

A Configuração: Eles criaram 20 tarefas de codificação diferentes. Por exemplo, "Enviar uma mensagem para um usuário" ou "Armazenar uma foto".
As Opções: Para cada tarefa, havia múltiplas formas igualmente boas de realizá-la usando ferramentas de diferentes empresas (como Google, Amazon, Microsoft, etc.).
O Teste: Eles pediram a 13 modelos de IA diferentes que resolvessem essas tarefas. Alguns modelos eram "membros da família" (pertencentes às empresas cujas ferramentas estavam disponíveis), e outros eram "estranhos" (modelos não afiliados).

O Que Eles Encontraram

1. A Ordem "Direta" (Solicitações Simples)

Quando pediram à IA que escrevesse apenas um trecho de código (como uma receita simples), as IAs "membros da família" mostraram um viés claro.

O Resultado: Cerca de 6 em cada 10 IAs de propriedade familiar escolheram consistentemente as ferramentas de seu proprietário em vez de outras.
A Magnitude: Às vezes, elas escolheram suas próprias ferramentas 18,8% mais frequentemente do que as IAs estranhas. É como se o chef escolhesse o molho da família 19 vezes a mais em cada 100 do que um chef neutro escolheria.

2. A Ordem "Agente" (O Projeto Complexo)

As coisas ficaram muito mais interessantes quando permitiram que a IA atuasse como um agente. Em vez de apenas escrever um arquivo, a IA teve que construir um projeto de software inteiro com 10 arquivos diferentes, tomando decisões ao longo do caminho.

O Resultado: O viés ficou muito mais forte. Nessas cenários complexos, as IAs de propriedade familiar escolheram suas próprias ferramentas 39,2% mais frequentemente do que as estranhas.
A Metáfora: É como se o chef, uma vez que começa a cozinhar um grande banquete, não apenas usasse o molho da família para a massa, mas também decidisse que o pão, o vinho e a sobremesa devem todos vir do restaurante da família também.

3. O "Efeito Dominó" (Bloqueio em Cascata)

Esta é a descoberta mais surpreendente. Nos projetos complexos, a IA frequentemente fazia uma escolha no início (por exemplo, "Vamos usar o serviço de mensagens do Google"). Mesmo quando avançava para uma parte completamente diferente do projeto que não precisava daquele serviço (como traduzir texto ou verificar segurança), ela continuava usando as ferramentas da família.

O Resultado: Nos casos mais fortes, uma vez que a IA escolhia a ferramenta da família, ela mantinha essa escolha em 90,3% dos arquivos posteriores e não relacionados.
A Metáfora: Imagine que o chef decide usar sal da TastyTown para a massa. Então, mesmo ao fazer a salada (que não tem nada a ver com massa), ele continua usando sal da TastyTown, vinagre da TastyTown e óleo da TastyTown, simplesmente porque começou com o sal. Isso prende o cliente naquele único ecossistema.

Por Que Isso Importa

O artigo argumenta que isso não é apenas uma peculiaridade; é um risco.

Para Desenvolvedores: Se você usar uma IA para escrever seu código, pode acabar construindo todo o seu software com as ferramentas de uma única empresa sem perceber.
O "Bloqueio": Uma vez que você está usando as ferramentas de uma empresa específica para tudo, torna-se muito difícil e caro mudar para uma empresa diferente mais tarde. Você fica "preso".

A Conclusão

O estudo mostra que os assistentes de codificação de IA não são neutros. Se a IA é propriedade de uma grande empresa de tecnologia, ela tem uma forte tendência a construir seu software usando os produtos dessa empresa, mesmo quando você não pediu. Esse viés piora quando a IA recebe mais liberdade para tomar decisões por conta própria, potencialmente prendendo desenvolvedores em um único ecossistema antes mesmo que eles percebam.

Os pesquisadores concluem que precisamos medir esse viés e estar cientes dele, especialmente à medida que agentes de IA se tornam mais comuns e começam a fazer mais dessas "escolhas de ingredientes" por nós.

Resumo Técnico: Medindo o Viés de Integração Vertical na Geração de Código

Definição do Problema

O artigo aborda um risco crítico, anteriormente não quantificado, no desenvolvimento de software assistido por Modelos de Linguagem de Grande Porte (LLMs): o Viés de Integração Vertical (VIB). À medida que LLMs de fronteira se tornam integrantes dos fluxos de trabalho de codificação, muitos estão afiliados a provedores de nuvem específicos ou ecossistemas de tecnologia (por exemplo, Google, Amazon, Microsoft). Os autores definem VIB como a tendência de LLMs afiliados a provedores favorecerem o ecossistema de seu próprio provedor (serviços, APIs, SDKs) em relação a alternativas funcionalmente comparáveis ao gerar código.

Esse viés apresenta riscos significativos para o desenvolvimento de software:

Escolhas Confinadas: Pode limitar as escolhas tecnológicas dos desenvolvedores, direcionando-os para um provedor específico mesmo quando alternativas existem.
Lock-in de Fornecedor: Em fluxos de trabalho agênticos (onde LLMs interagem com ferramentas e geram repositórios de múltiplos arquivos), escolhas iniciais específicas do provedor podem cascata para componentes downstream conceitualmente desacoplados, criando um caminho para uma dependência profunda do fornecedor.
Falta de Estudo Sistemático: Trabalhos anteriores identificaram preferências gerais de bibliotecas ou linguagens em LLMs, mas não investigaram sistematicamente se essas preferências se alinham com o próprio ecossistema do provedor do modelo ou como capacidades agênticas amplificam esse efeito.

Metodologia

Para medir o VIB, os autores introduzem o VIBENCH, um benchmark projetado para avaliar a geração de código em 20 cenários de integração de software selecionáveis por provedor (por exemplo, mensageria Pub/Sub, armazenamento de objetos, tradução).

Design Experimental

Cenários: O benchmark cobre 20 cenários onde múltiplos provedores oferecem serviços documentados e comparáveis. Cada cenário é instanciado como:
- Geração Direta: Geração de código de arquivo único usando três tipos de prompt: Instrução em Linguagem Natural (NLI), Preenchimento no Meio (FIM) e Referência Documentada (REF, onde alternativas são explicitamente listadas).
- Fluxos de Trabalho Agênticos: Geração de repositório de múltiplos arquivos (10 arquivos por execução). Isso inclui arquivos "núcleo-alinhado" (análogos diretos às tarefas diretas) e arquivos "downstream" (tarefas conceitualmente desacopladas como sumarização ou tradução) para testar efeitos de cascata.
Seleção de Modelos: O estudo avalia 13 modelos de fronteira:
- 10 Modelos Afiliados a Provedores: De Google, OpenAI (afiliada indiretamente via Microsoft), Amazon, IBM e Alibaba.
- 3 Controles Não Afiliados: DeepSeek, Mistral e xAI.
Métricas de Avaliação:
- Pontuação VIB: Calculada como a diferença em pontos percentuais (pp) na taxa de seleção do ecossistema afiliado entre um modelo afiliado e uma linha de base de controle não afiliado correspondente.
- Lock-in de Cascata: Mede a persistência de uma escolha inicial de provedor em arquivos downstream. Calcula a probabilidade de o ecossistema afiliado aparecer em arquivos downstream dado que foi selecionado no arquivo âncora primário.
Atribuição: Um pipeline heurístico baseado em palavras-chave identifica bibliotecas, APIs e referências de serviços específicos do provedor no código gerado, validado por meio de uma auditoria manual com alta concordância entre anotadores ( $\kappa$ de Cohen = 0,99).

Contribuições Principais

Benchmark VIBENCH: O primeiro benchmark projetado especificamente para medir o VIB tanto na geração de código direta quanto agêntica, apresentando controles conscientes da afiliação e alinhamento direto para agêntico.
Pipeline de Avaliação Consciente da Afiliação: Uma metodologia que atribui o código gerado a ecossistemas de provedores e compara modelos afiliados contra linhas de base não afiliadas para isolar preferência excessiva.
Evidência Empírica de Viés e Amplificação: O estudo fornece a primeira evidência sistemática de que o VIB existe na geração direta, é significativamente amplificado em fluxos de trabalho agênticos e pode persistir em componentes downstream, criando um mecanismo potencial para lock-in de fornecedor.

Resultados

A avaliação de 15.600 gerações diretas e 2.000 execuções agênticas produziu as seguintes descobertas:

1. VIB na Geração Direta de Código (RQ1)

Viés Positivo: Seis dos dez modelos afiliados a provedores exibiram VIB positivo estatisticamente significativo na geração direta.
Magnitude: Os efeitos variaram até +18,8 pontos percentuais (Gemini 2.5 Flash).
Robustez do Prompt: O VIB persistiu nos formatos de prompt NLI, FIM e REF. Listar explicitamente alternativas de provedor (REF) não mitigou consistentemente o viés; em alguns casos, aumentou-o.

2. Amplificação Agêntica (RQ2)

Viés Aumentado: Fluxos de trabalho agênticos amplificaram significativamente o VIB em comparação com a geração direta. Todos os sete modelos afiliados avaliados em configurações agênticas mostraram VIB de núcleo-alinhado positivo.
Magnitude: O viés atingiu +39,2 pontos percentuais (Gemini 2.5 Flash) em configurações agênticas, um aumento substancial sobre a geração direta.
Mudança Direcional: Alguns modelos (por exemplo, Gemini 2.5 Pro) mudaram de VIB negativo na geração direta para VIB positivo significativo em fluxos de trabalho agênticos.

3. Lock-in de Cascata (RQ3)

Persistência: Escolhas iniciais específicas do provedor em fluxos de trabalho agênticos frequentemente persistiram em arquivos downstream conceitualmente desacoplados.
Taxas Altas: No caso mais forte (Gemini 2.5 Flash), o ecossistema afiliado apareceu em arquivos downstream com 90,3% de persistência após ser selecionado no arquivo âncora primário.
Implicação: Mesmo escolhas iniciais infrequentes (por exemplo, Qwen 3.6 Plus com 4,5% de seleção inicial) mostraram alta persistência downstream (77,8%) uma vez feitas, sugerindo um efeito de "cascata" onde decisões iniciais restringem tarefas posteriores e não relacionadas.

Significado e Alegações

O artigo alega que o VIB é um fenômeno mensurável e significativo que desafia a neutralidade dos LLMs no desenvolvimento de software. Os autores enfatizam que:

Fluxos de Trabalho Agênticos Exacerbam o Risco: A autonomia de sistemas agênticos permite que vieses específicos do provedor se compõem e cascateiem, potencialmente prendendo desenvolvedores a ecossistemas sem sua intenção explícita.
Necessidade de Medição: À medida que capacidades agênticas se tornam prevalentes, a indústria deve medir e contabilizar o VIB para prevenir lock-in de fornecedor não intencional.
Observação Comportamental: O estudo mede o resultado em nível de artefato (escolhas de ecossistema no código) em vez de inferir intenção interna do modelo ou mecanismos de auto-preferência causais.

Os autores concluem que, embora o VIB seja atualmente mensurável, os mecanismos por trás dele (dados de treinamento, arquitetura, dinâmicas de inferência) exigem investigação adicional para desenvolver estratégias eficazes de mitigação. O pacote de replicação, incluindo o benchmark e heurísticas de atribuição, está disponível para apoiar pesquisas futuras.