Measuring brands in machine answers: A scoping review and validity framework for large language model brand-visibility audits
Esta revisión de alcance de 38 estudios empíricos revela que las auditorías actuales de visibilidad de marca en la IA sufren brechas de validez significativas y conclusiones contradictorias debido a inconsistencias metodológicas y sesgos comerciales, lo que impulsa al autor a proponer un marco teórico de dos etapas y nuevos estándares de reporte para reconciliar las contradicciones entre la inclusión y la selección de marcas en las respuestas de los modelos de lenguaje de gran tamaño.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mercado moderno, el éxito de una marca a menudo depende de si entra en la mente del consumidor en el momento adecuado. Durante décadas, los especialistas en marketing han estudiado el "conjunto de consideración", una lista mental abreviada de productos en la que una persona piensa activamente antes de realizar una compra. Si una marca no está en esa lista, es efectivamente invisible, sin importar lo bueno que sea el producto. Hoy en día, un nuevo portero ha aparecido entre el comprador y esa lista mental: el asistente de inteligencia artificial. Cuando una persona le pide a un modelo de lenguaje de gran tamaño cuál es la mejor chaqueta de senderismo o un contador confiable, la máquina no simplemente devuelve una lista de enlaces. Genera una lista corta y clasificada de marcas específicas, a menudo con una breve explicación. Esta respuesta actúa como un menú preseleccionado, decidiendo qué opciones considerará siquiera el humano.
La pregunta que enfrentan los investigadores y los líderes empresariales es si estas listas generadas por máquinas son justas, precisas o incluso estables. ¿Favorecen simplemente a las empresas más grandes y famosas, o recompensan la calidad? ¿Dan una oportunidad a las empresas locales más pequeñas, o esas marcas están bloqueadas por completo? Debido a que estos sistemas cambian constantemente y su lógica interna está oculta, responder a estas preguntas requiere un nuevo tipo de investigación. No podemos simplemente mirar dentro de la máquina; debemos hacerle miles de preguntas y analizar cuidadosamente las respuestas que nos devuelve.
Una revisión de alcance reciente realizada por el investigador independiente Charbel Sami Ibrahim aborda precisamente este problema. El estudio actúa como un mapa de un campo en rápido crecimiento, examinando treinta y ocho investigaciones diferentes realizadas entre 2024 y 2026 que preguntaron a modelos de lenguaje de gran tamaño por recomendaciones de marcas. El objetivo no era encontrar una única respuesta perfecta, sino comprender por qué estos diferentes estudios suelen llegar a conclusiones contradictorias. Algunos informes afirman que las marcas famosas dominan cada respuesta, mientras que otros sugieren que las marcas más pequeñas pueden competir si tienen buenas calificaciones. Al comparar los métodos utilizados en cada estudio, la revisión revela que estas contradicciones no se deben necesariamente a las marcas en sí, sino a cómo se formularon las preguntas y cómo se contaron las respuestas.
La revisión encontró que el campo se encuentra todavía en sus etapas iniciales y frágiles. La mayoría de los estudios examinados no fueron revisados por pares por expertos independientes, y muchos fueron realizados por grupos con un interés comercial en vender herramientas para mejorar la visibilidad de las marcas. Además, los datos suelen estar incompletos; muchos estudios no repitieron sus preguntas suficientes veces para asegurar que los resultados fueran estables, y pocos contrastaron sus hallazgos con datos del mercado real, como cifras de ventas o encuestas de reconocimiento de marca. El investigador identificó una falla crítica en cómo se construyen muchos estudios: a menudo no logran distinguir entre dos etapas muy diferentes del proceso. La primera etapa es si una marca aparece en la respuesta o no. La segunda etapa es si esa marca es clasificada con una posición alta o recomendada sobre otras una vez que ya ha aparecido.
Cuando la revisión separa estas dos etapas, emerge un panorama más claro. La evidencia sugiere que lograr que una marca entre en la respuesta en primer lugar depende fuertemente de cuánto texto exista sobre esa marca en línea. Si una empresa está bien documentada en sitios web, reseñas y directorios, es mucho más probable que sea incluida en la lista de la máquina. Esto es una cuestión de "pertenencia". Sin embargo, una vez que una marca está en la lista, las reglas parecen cambiar. La revisión sugiere que cuando la máquina tiene que elegir entre varias marcas que ya están incluidas, puede depender más de atributos específicos, como las calificaciones de los clientes o el precio, en lugar de solo la fama de la marca. Esto significa que una marca más pequeña con excelentes reseñas podría vencer a una marca famosa con malas reseñas, pero solo si la marca más pequeña tuvo la suerte de ser incluida en la lista en primer lugar.
El estudio también destaca con qué facilidad los resultados pueden verse influenciados por el lenguaje utilizado o la ubicación de la persona que pregunta. Hacer una pregunta en un idioma local suele traer marcas locales que nunca aparecerían en una consulta en inglés. Del mismo modo, la versión específica del modelo de IA que se esté utilizando puede cambiar todo el conjunto de marcas recomendadas. Debido a esto, un número único que pretenda mostrar la "visibilidad" de una marca suele ser engañoso. Una marca podría aparecer en el 90 por ciento de las respuestas en una plataforma pero solo en el 10 por ciento en otra, haciendo que un puntaje combinado carezca de sentido sin conocer el contexto.
Quizás el hallazgo más significativo es que el diseño del propio estudio dicta lo que encuentra. Los estudios que simplemente piden a la máquina que nombre marcas desde cero tienden a mostrar una ventaja masiva para las empresas más grandes y famosas. En contraste, los estudios que proporcionan a la máquina una lista fija de opciones y le piden que elija la mejor, a menudo muestran que las marcas famosas pierden su ventaja si un competidor más pequeño posee mejores atributos. Esto explica por qué algunos informes dicen que las grandes marcas dominan el mundo de la IA mientras que otros dicen que el campo de juego está nivelado; están midiendo partes diferentes del proceso. La revisión concluye que para entender verdaderamente cómo estas máquinas tratan a las marcas, los investigadores y gerentes deben dejar de buscar un puntaje único. En su lugar, deben medir la inclusión y la selección por separado, hacer muchas versiones diferentes de la misma pregunta y verificar que la máquina esté identificando correctamente las marcas. Hasta que no se cumplan estos estándares, los números utilizados para guiar los presupuestos de marketing siguen siendo inciertos, y el verdadero impacto de la inteligencia artificial en la competencia de marcas sigue siendo un rompecabezas con muchas piezas faltantes.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.