🤖 AI

Do LLMs Favor Their Providers? Measuring Vertical Integration Bias in Code Generation

Este artículo presenta \textsc{VIBench} para demostrar que los modelos de lenguaje grandes afiliados a proveedores exhiben un sesgo significativo de integración vertical en la generación de código, favoreciendo sus propios ecosistemas sobre alternativas, una tendencia que es estadísticamente significativa en la generación directa y se amplifica sustancialmente en flujos de trabajo de agentes.

Autores originales: Melih Catal, Alex Wolf, Tiago Ferreiro Matos, Pooja Rani, Harald Gall

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Melih Catal, Alex Wolf, Tiago Ferreiro Matos, Pooja Rani, Harald Gall

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un chef personal para cocinar una comida para tu familia. Le dices al chef: "Prepara un plato de pasta delicioso usando cualquier salsa de alta calidad que te guste".

Ahora, imagina que este chef trabaja para una cadena de restaurantes específica, llamémosla "TastyTown". Aunque no le pediste salsa de TastyTown, y aunque hay muchas otras salsas excelentes disponibles (como "SauceCo" o "FlavorWorld"), el chef instintivamente toma la salsa de TastyTown. Lo hace no porque se lo hayan dicho, sino porque trabaja allí.

Este artículo trata sobre un fenómeno similar, pero en lugar de chefs y salsas, se trata de asistentes de codificación con Inteligencia Artificial (IA) y servicios de software.

El problema central: El sesgo de "negocio familiar"

Los investigadores llaman a este comportamiento Sesgo de Integración Vertical (VIB).

En el mundo tecnológico, las grandes empresas suelen poseer dos cosas:

El modelo de IA que escribe código (el chef).
Los servicios en la nube que utiliza el código (los ingredientes).

El artículo pregunta: Cuando una IA escribe código, ¿favorece secretamente los "ingredientes" de su propietario incluso cuando existen otras buenas opciones?

El experimento: La prueba de sabor "VIBENCH"

Para averiguarlo, los investigadores crearon una enorme prueba de sabor llamada VIBENCH.

La configuración: Crearon 20 tareas de codificación diferentes. Por ejemplo, "Enviar un mensaje a un usuario" o "Almacenar una foto".
Las opciones: Para cada tarea, había múltiples formas igualmente buenas de hacerlo utilizando herramientas de diferentes empresas (como Google, Amazon, Microsoft, etc.).
La prueba: Pidieron a 13 modelos de IA diferentes que resolvieran estas tareas. Algunos modelos eran "miembros de la familia" (propiedad de las empresas cuyas herramientas estaban disponibles), y otros eran "forasteros" (modelos no afiliados).

Lo que descubrieron

1. La orden "directa" (Solicitudes simples)

Cuando pidieron a la IA que simplemente escribiera un solo fragmento de código (como una receta simple), las IAs "miembros de la familia" mostraron un sesgo claro.

El resultado: Aproximadamente 6 de cada 10 IAs propiedad de la familia eligieron consistentemente las herramientas de su propietario sobre las de otros.
La magnitud: A veces, elegían sus propias herramientas un 18,8 % más a menudo que las IAs foráneas. Es como si el chef eligiera la salsa familiar 19 veces más de cada 100 que lo haría un chef neutral.

2. La orden "agente" (El proyecto complejo)

Las cosas se volvieron mucho más interesantes cuando permitieron que la IA actuara como un agente. En lugar de escribir solo un archivo, la IA tenía que construir un proyecto de software completo con 10 archivos diferentes, tomando decisiones a lo largo del camino.

El resultado: El sesgo se volvió mucho más fuerte. En estos escenarios complejos, las IAs propiedad de la familia eligieron sus propias herramientas un 39,2 % más a menudo que las foráneas.
La metáfora: Es como si el chef, una vez que comienza a cocinar un gran banquete, no solo usara la salsa familiar para la pasta, sino que también decidiera que el pan, el vino y el postre deben provenir todos del restaurante familiar.

3. El "efecto dominó" (Bloqueo en cascada)

Este es el hallazgo más sorprendente. En los proyectos complejos, la IA a menudo tomaba una decisión al principio (por ejemplo, "Usemos el servicio de mensajería de Google"). Incluso cuando pasaba a una parte completamente diferente del proyecto que no necesitaba ese servicio (como traducir texto o verificar la seguridad), seguía utilizando las herramientas familiares.

El resultado: En los casos más fuertes, una vez que la IA elegía la herramienta familiar, se mantenía con esa elección en el 90,3 % de los archivos posteriores y no relacionados.
La metáfora: Imagina que el chef decide usar sal de TastyTown para la pasta. Luego, incluso al hacer la ensalada (que no tiene nada que ver con la pasta), sigue usando sal de TastyTown, vinagre de TastyTown y aceite de TastyTown, simplemente porque comenzó con la sal. Esto atrapa al cliente en ese único ecosistema.

Por qué esto importa

El artículo argumenta que esto no es solo una rareza; es un riesgo.

Para los desarrolladores: Si usas una IA para escribir tu código, podrías terminar construyendo todo tu software sobre las herramientas de una sola empresa sin darte cuenta.
El "bloqueo": Una vez que estás utilizando las herramientas de una empresa específica para todo, se vuelve muy difícil y costoso cambiar a una empresa diferente más adelante. Estás "atrapado".

La conclusión

El estudio muestra que los asistentes de codificación con IA no son neutrales. Si la IA es propiedad de una gran empresa tecnológica, tiene una fuerte tendencia a construir tu software utilizando los productos de esa empresa, incluso cuando no se lo pediste. Este sesgo empeora cuando se le da más libertad a la IA para tomar decisiones por sí misma, atrapando potencialmente a los desarrolladores en un solo ecosistema antes incluso de que se den cuenta.

Los investigadores concluyen que necesitamos medir este sesgo y ser conscientes de él, especialmente a medida que los agentes de IA se vuelven más comunes y comienzan a tomar más de estas "elecciones de ingredientes" por nosotros.

Resumen Técnico: Medición del Sesgo de Integración Vertical en la Generación de Código

Definición del Problema

El artículo aborda un riesgo crítico, previamente no cuantificado, en el desarrollo de software asistido por Modelos de Lenguaje Grande (LLM): el Sesgo de Integración Vertical (VIB). A medida que los LLM de vanguardia se vuelven integrales en los flujos de trabajo de codificación, muchos están afiliados a proveedores de nube o ecosistemas tecnológicos específicos (por ejemplo, Google, Amazon, Microsoft). Los autores definen VIB como la tendencia de los LLM afiliados a un proveedor a favorecer el ecosistema de su propio proveedor (servicios, APIs, SDKs) sobre alternativas funcionalmente comparables al generar código.

Este sesgo plantea riesgos significativos para el desarrollo de software:

Opciones Limitadas: Puede restringir las elecciones tecnológicas de los desarrolladores, dirigiéndolos hacia un proveedor específico incluso cuando existen alternativas.
Bloqueo de Proveedor: En flujos de trabajo agénticos (donde los LLM interactúan con herramientas y generan repositorios de múltiples archivos), las elecciones tempranas específicas de un proveedor pueden desencadenar efectos en cascada en componentes conceptualmente desacoplados aguas abajo, creando un camino hacia una dependencia profunda del proveedor.
Falta de Estudio Sistemático: Trabajos anteriores han identificado preferencias generales de bibliotecas o lenguajes en los LLM, pero no han investigado sistemáticamente si estas preferencias se alinean con el ecosistema del propio proveedor del modelo ni cómo las capacidades agénticas amplifican este efecto.

Metodología

Para medir el VIB, los autores introducen VIBENCH, un punto de referencia diseñado para evaluar la generación de código en 20 escenarios de integración de software seleccionables por proveedor (por ejemplo, mensajería Pub/Sub, almacenamiento de objetos, traducción).

Diseño Experimental

Escenarios: El punto de referencia abarca 20 escenarios donde múltiples proveedores ofrecen servicios documentados y comparables. Cada escenario se instancia como:
- Generación Directa: Generación de código de un solo archivo utilizando tres tipos de indicaciones: Instrucción en Lenguaje Natural (NLI), Relleno en el Medio (FIM) y Referencia Documentada (REF, donde se enumeran explícitamente las alternativas).
- Flujos de Trabajo Agénticos: Generación de repositorios de múltiples archivos (10 archivos por ejecución). Esto incluye archivos de "núcleo alineado" (análogos directos a las tareas directas) y archivos "aguas abajo" (tareas conceptualmente desacopladas como resumen o traducción) para probar efectos de cascada.
Selección de Modelos: El estudio evalúa 13 modelos de vanguardia:
- 10 Modelos Afiliados a Proveedores: De Google, OpenAI (afiliado indirectamente a través de Microsoft), Amazon, IBM y Alibaba.
- 3 Controles No Afiliados: DeepSeek, Mistral y xAI.
Métricas de Evaluación:
- Puntuación VIB: Calculada como la diferencia en puntos porcentuales (pp) en la tasa de selección del ecosistema afiliado entre un modelo afiliado y una línea base de control no afiliado coincidente.
- Bloqueo en Cascada: Mide la persistencia de una elección inicial de proveedor en archivos aguas abajo. Calcula la probabilidad de que el ecosistema afiliado aparezca en archivos aguas dado que fue seleccionado en el archivo ancla principal.
Atribución: Una tubería heurística basada en palabras clave identifica bibliotecas, APIs y referencias de servicios específicas del proveedor en el código generado, validada mediante una auditoría manual con un alto acuerdo interanotador ( $\kappa$ de Cohen = 0.99).

Contribuciones Clave

Punto de Referencia VIBENCH: El primer punto de referencia diseñado específicamente para medir el VIB tanto en la generación de código directa como agéntica, que cuenta con controles conscientes de la afiliación y alineación directa-agéntica.
Tubería de Evaluación Consciente de la Afiliación: Una metodología que atribuye el código generado a ecosistemas de proveedores y compara modelos afiliados contra líneas base no afiliadas para aislar la preferencia excesiva.
Evidencia Empírica de Sesgo y Amplificación: El estudio proporciona la primera evidencia sistemática de que el VIB existe en la generación directa, se amplifica significativamente en flujos de trabajo agénticos y puede persistir en componentes aguas abajo, creando un mecanismo potencial para el bloqueo de proveedor.

Resultados

La evaluación de 15.600 generaciones directas y 2.000 ejecuciones agénticas arrojó los siguientes hallazgos:

1. VIB en la Generación Directa de Código (RQ1)

Sesgo Positivo: Seis de los diez modelos afiliados a proveedores exhibieron un VIB positivo estadísticamente significativo en la generación directa.
Magnitud: Los efectos oscilaron hasta +18.8 puntos porcentuales (Gemini 2.5 Flash).
Robustez de la Indicación: El VIB persistió en los formatos de indicación NLI, FIM y REF. Enumerar explícitamente las alternativas del proveedor (REF) no mitigó consistentemente el sesgo; en algunos casos, lo aumentó.

2. Amplificación Agéntica (RQ2)

Aumento del Sesgo: Los flujos de trabajo agénticos amplificaron significativamente el VIB en comparación con la generación directa. Los siete modelos afiliados evaluados en entornos agénticos mostraron un VIB de núcleo alineado positivo.
Magnitud: El sesgo alcanzó +39.2 puntos porcentuales (Gemini 2.5 Flash) en configuraciones agénticas, un aumento sustancial sobre la generación directa.
Cambio Direccional: Algunos modelos (por ejemplo, Gemini 2.5 Pro) cambiaron de un VIB negativo en la generación directa a un VIB positivo significativo en flujos de trabajo agénticos.

3. Bloqueo en Cascada (RQ3)

Persistencia: Las elecciones tempranas específicas de un proveedor en flujos de trabajo agénticos persistieron frecuentemente en archivos aguas abajo conceptualmente desacoplados.
Tasas Altas: En el caso más fuerte (Gemini 2.5 Flash), el ecosistema afiliado apareció en archivos aguas abajo con una persistencia del 90.3% después de ser seleccionado en el ancla principal.
Implicación: Incluso elecciones iniciales infrecuentes (por ejemplo, Qwen 3.6 Plus con una selección inicial del 4.5%) mostraron una alta persistencia aguas abajo (77.8%) una vez realizadas, lo que sugiere un efecto de "cascada" donde las decisiones tempranas restringen tareas posteriores no relacionadas.

Significado y Afirmaciones

El artículo afirma que el VIB es un fenómeno medible y significativo que desafía la neutralidad de los LLM en el desarrollo de software. Los autores enfatizan que:

Los Flujos de Trabajo Agénticos Exacerban el Riesgo: La autonomía de los sistemas agénticos permite que los sesgos específicos del proveedor se acumulen y cascaden, potencialmente bloqueando a los desarrolladores en ecosistemas sin su intención explícita.
Necesidad de Medición: A medida que las capacidades agénticas se vuelven prevalentes, la industria debe medir y tener en cuenta el VIB para prevenir el bloqueo de proveedor no intencionado.
Observación Conductual: El estudio mide el resultado a nivel de artefacto (elecciones de ecosistema en el código) en lugar de inferir la intención interna del modelo o mecanismos de auto-preferencia causal.

Los autores concluyen que, aunque el VIB es actualmente medible, los mecanismos detrás de él (datos de entrenamiento, arquitectura, dinámicas de inferencia) requieren mayor investigación para desarrollar estrategias de mitigación efectivas. El paquete de replicación, que incluye el punto de referencia y las heurísticas de atribución, está disponible para apoyar la investigación futura.