Resumo Técnico: Invisível para a Máquina

Declaração do Problema

Embora os assistentes de IA estejam rapidamente se tornando a interface primária para descoberta local, há uma falta crítica de compreensão científica sobre quais estabelecimentos físicos eles apresentam, particularmente no setor de alimentos e bebidas, onde as recomendações impactam diretamente a receita. A literatura de auditoria existente sofre de dois pontos cegos estruturais:

1. Experimentos de escolha conjunta (conjoint) randomizam atributos dentro de conjuntos de escolha construídos, forçando cada candidato diante do modelo. Isso impede a observação de se um estabelecimento real entra ou não na consideração.
2. Auditorias de prompts em larga escala avaliam contra catálogos curados de marcas proeminentes (dezenas a centenas), tornando impossível calcular uma "taxa de invisibilidade" a nível populacional (ou seja, a taxa de estabelecimentos que nunca são recomendados) porque o denominador está ausente.

Além disso, nenhum estudo prévio examinou estabelecimentos de alimentos e bebidas, um segmento dominado por operadores independentes com documentação escassa, apesar das evidências existentes de que a representação em intermediários de descoberta carrega efeitos de demanda causalmente identificados.

Metodologia

O estudo apresenta a primeira auditoria com denominação de censo da recomendação de locais por IA.

• Censo de Mercado: Os pesquisadores enumeraram o mercado operacional completo de dois submercados delimitados em Bali, Indonésia (Greater Canggu e Greater Ubud), resultando em um registro de 4.776 cafés, restaurantes e bares. Este censo foi construído via Google Places API usando uma grade adaptativa para evitar truncamento em áreas densas, aumentado por uma passagem de resolução para nomes recomendados pela IA que inicialmente falharam na correspondência.
• Coleta de Dados: Quatro sistemas de IA de produção (ChatGPT, Claude, Gemini, Perplexity) foram consultados via suas APIs fundamentadas em busca. O estudo executou 2.208 execuções ao longo de sete dias, respondendo a 96 consultas condicionadas por persona (8 personas × 6 modelos narrativos × 2 localizações).
• Extração e Validação:
  • Extração: Um extrator de LLM processou as respostas em menções de estabelecimentos, sentimento (recomendado/neutro/desaconselhado) e ranking. A extração foi validada via dupla anotação independente, alcançando 97,6% de precisão e 99,1% de recall no nível de menção.
  • Correspondência de Entidades (Entity Matching): As menções foram resolvidas para o censo usando um combinador difuso determinístico. Uma auditoria post-hoc revelou que erros de correspondência correlacionavam-se com a ausência de provedores de dados de terceiros; uma passagem de remediação corrigiu isso, revertendo um achado preliminar sobre a presença do Foursquare de significativo para nulo.
  • Taxonomia de Não Correspondência: Menções não correspondidas foram classificadas em categorias (ex: estabelecimentos fechados, variantes de nome, fabricação) para distinguir entre "obsolescência" (staleness) e "alucinação".
• Modelos Estatísticos:
  • M1 (Margem de Entrada): Um GLM binomial prevendo a probabilidade de um estabelecimento ser recomendado em uma execução elegível, controlando efeitos fixos de motor e persona.
  • M7 (Margem de Ranking): Um modelo logit condicional prevendo a probabilidade de um estabelecimento ser nomeado em primeiro lugar dentro de uma execução que recomendou múltiplos estabelecimentos.
  • Robustez: Os modelos incluíram erros padrão robustos ao cluster, especificações GEE e refazimentos de sensibilidade (ex: excluindo o braço do Claude devido às menores taxas de correspondência).

Resultados Principais

1. A Invisibilidade é a Norma

• 85,6% dos 4.776 estabelecimentos do censo nunca foram recomendados por qualquer sistema em qualquer execução.
• Mesmo entre estabelecimentos "estabelecidos" (aqueles com mais de 50 avaliações), 72,6% nunca foram recomendados.
• A visibilidade é de cauda longa em vez de vencedor leva tudo: o estabelecimento mais recomendado detinha apenas 1,9% do total de recomendações, e os 25 principais capturaram 28,5%.

2. Uma Estrutura de Dois Margens de Visibilidade

O estudo identifica uma dissociação entre a entrada em uma resposta e o ranking dentro de uma resposta:

• Margem de Entrada (Admissão): Impulsionada por documentação, não por reputação.
  • Preditores significativos: Próprio site (OR 1,92), volume de avaliações (OR 1,64), preço listado (OR 1,54) e menções na web por terceiros (OR 1,44).
  • A classificação por estrelas é nula nesta margem (OR 0,89, não significativo).
• Margem de Ranking (Ordenação): Impulsionada por reputação.
  • Entre estabelecimentos que são recomendados, a classificação por estrelas prevê significativamente a primeira posição (OR 1,17).
  • Fatores de documentação (como menções na web) perdem significância ou enfraquecem ao condicionar à entrada.

3. Falha dos Conjuntos de Dados de POI Abertos

Ao contrário das suposições da indústria, a presença no conjunto de dados aberto do Foursquare (e suas métricas internas de qualidade, como dicas ou popularidade) mostrou nenhum efeito positivo tanto na entrada quanto no ranking, uma vez que as variáveis de documentação foram controladas.

4. Modos de Falha: Fabricação vs. Obsolescência

• A fabricação é rara: Apenas 0,08% das menções válidas foram flagrantemente fabricadas (nomes inventados).
• A obsolescência é a principal falha: Os sistemas recomendaram estabelecimentos permanentemente fechados 93 vezes. O modo de falha prático é dados desatualizados, não alucinação.

5. Instabilidade e Deriva

• Churn de Execução para Execução: Consultas idênticas retornam conjuntos de estabelecimentos diferentes (a similaridade de Jaccard varia de 0,22 a 0,45). Parafrasear consultas reduz ainda mais a similaridade.
• Sem Deriva Temporal: Um teste de reteste de duas semanas mostrou que a similaridade entre períodos é comparável às reexecuções do mesmo dia, indicando que as flutuações de visibilidade se devem à estocasticidade de amostragem, e não à deriva temporal nos modelos.

Significância e Alegações

O artigo afirma fechar a lacuna entre os designs experimentais de escolha conjunta (conjoint) e as auditorias de prompt observacionais, fornecendo uma taxa de invisibilidade em nível populacional.

• Contribuição Metodológica: O estudo demonstra que as conclusões de auditoria são altamente sensíveis à qualidade do instrumento, especificamente à correspondência de entidades. Uma única passagem de remediação reverteu um achado fundamental sobre provedores de dados de terceiros, destacando a necessidade de validar pipelines de correspondência em pesquisas de auditoria.
• Reconciliação Teórica: Os achados reconciliam literaturas conflitantes. Estudos de escolha conjunta (ex: Baig et al., 2026) que mostram a dominância de avaliações medem a margem de ranking (uma vez que o estabelecimento está no conjunto de escolha). Esta auditoria de censo revela que a classificação por estrelas é irrelevante para a margem de entrada; em vez disso, a "infraestrutura de descoberta" (sites, contagem de avaliações, dados de preço) governa se um estabelecimento entra no conjunto de consideração ao todo.
• Implicação Econômica: Como as recomendações de IA elevam as buscas e visitas à mesma marca, o achado de que 72,6% dos estabelecimentos estabelecidos são invisíveis sugere uma exclusão econômica massiva e não medida para operadores independentes que carecem de sinais de documentação específicos, independentemente de sua qualidade ou classificações de clientes reais.

O autor disponibiliza o método de construção do censo, o protocolo pré-registrado e os dados derivados para permitir a replicação em outros mercados.