Actions Speak Louder than Prompts: A Large-Scale Study of LLMs for Graph Inference

Este estudo de grande escala avalia sistematicamente a interação entre modelos de linguagem grandes (LLMs) e dados gráficos, revelando que a geração de código supera outras abordagens em desempenho e adaptabilidade, especialmente em grafos heterofílicos e com textos longos, oferecendo diretrizes práticas para o desenvolvimento futuro de métodos de inferência gráfica.

O essencial

Imagine que você tem um mapa gigante de uma cidade, onde cada prédio é uma pessoa (ou um produto, ou um artigo) e as ruas que ligam os prédios são as conexões entre eles. O objetivo é descobrir a "profissão" ou o "tipo" de cada prédio apenas olhando para o que está escrito na fachada dele e quem são os vizinhos.

Esse é o problema que os pesquisadores tentaram resolver com Inteligência Artificial (LLMs). Eles queriam saber: Qual é a melhor maneira de ensinar uma IA a entender esse mapa?

Aqui está a explicação do estudo, usando analogias do dia a dia:

1. O Grande Desafio: Como "ler" o mapa?

Os pesquisadores testaram três métodos diferentes para que a IA interagisse com esse mapa. Pense neles como três estilos de detetive:

• O Detetive "Leitor de Manual" (Prompting):
  • Como funciona: Você pega o mapa inteiro, escreve tudo o que vê sobre o prédio alvo e seus vizinhos em uma única carta gigante e manda para a IA.
  • O problema: Se a cidade for grande ou os prédios tiverem descrições muito longas (como em redes sociais ou e-commerce), a carta fica tão grande que a IA não consegue ler tudo de uma vez. Ela "engasga" e esquece o começo da carta. É como tentar ler um livro inteiro em um único piscar de olhos.
• O Detetive "Com Ferramentas" (Tool-Use):
  • Como funciona: A IA não recebe o mapa todo. Ela recebe um kit de ferramentas. Ela pode pedir: "Quero ver os vizinhos do prédio X" ou "Quero ler a descrição do prédio Y". Ela vai perguntando passo a passo.
  • O problema: É melhor que o primeiro, mas ainda é um pouco lento e rígido. É como se o detetive tivesse que ligar para a central de polícia para cada pequena informação.
• O Detetive "Programador" (Graph-as-Code):
  • Como funciona: Aqui, a IA não apenas lê ou pede informações; ela escreve um pequeno programa (código) para analisar o mapa. Ela diz: "Vou criar uma lista de todos os vizinhos, filtrar os que têm a mesma cor e contar quantos são".
  • A vantagem: É como dar ao detetive um computador portátil. Ele pode processar informações complexas, ignorar o que não importa e focar no que é crucial, sem se perder em textos gigantes.

2. O Que Eles Descobriram? (As Lições)

O estudo comparou esses métodos em vários cenários: redes sociais, sites de compras, artigos científicos e mapas de fraudes.

• O Vencedor é o "Programador":
  A abordagem de gerar código (Graph-as-Code) foi a campeã em quase tudo.

  • Analogia: Imagine que você precisa organizar uma festa com 1.000 convidados. O "Leitor de Manual" tenta ler a lista de nomes inteira de uma vez e se confunde. O "Programador" escreve uma planilha que organiza tudo automaticamente.
  • Por que venceu? Em redes complexas (muitos vizinhos) ou com textos longos (descrições de produtos), o método de "ler tudo" falha porque esgota a memória da IA. O método de código é flexível e eficiente.

• O Mito do "Vizinho Igual":
  Existe uma crença antiga de que IAs só funcionam bem se os vizinhos forem parecidos (ex: todos os vizinhos de um "goleiro" também forem "goleiros"). Isso é chamado de homofilia. Se os vizinhos forem diferentes (heterofilia), pensava-se que a IA falharia.

  • A descoberta: Errado! A IA, especialmente a que usa código, funciona muito bem mesmo quando os vizinhos são todos diferentes. Ela consegue usar a descrição do próprio prédio (o texto) para se ajudar, não dependendo apenas de quem está ao lado.

• Adaptabilidade é a Chave:
  O método de código é inteligente. Se o texto do prédio for ruim, ele olha mais para os vizinhos. Se os vizinhos forem confusos, ele foca no texto. Ele sabe qual "ingrediente" usar para fazer o melhor bolo, dependendo do que tem na geladeira.

3. Resumo Prático para o Dia a Dia

Se você é um desenvolvedor ou alguém que usa IA para analisar redes (como detectar fraudes em cartões de crédito ou recomendar filmes):

1. Esqueça o "Copiar e Colar" tudo: Tentar jogar todo o contexto do mapa na IA de uma vez só (Prompting) é a estratégia mais fraca, especialmente em dados grandes.
2. Deixe a IA escrever o código: A melhor estratégia é deixar a IA gerar pequenos programas que analisam os dados. É mais rápido, mais preciso e não "esquece" informações importantes.
3. Não tenha medo de redes mistas: Mesmo que seus dados sejam bagunçados (vizinhos de tipos diferentes), a IA moderna consegue lidar com isso, desde que você use a abordagem certa.

Em suma: O estudo diz que, para entender grafos complexos, ações (escrever código) falam mais alto do que apenas prompts (pedidos de texto). A IA precisa de ferramentas para navegar no labirinto, não apenas de um mapa gigante que ela não consegue ler inteiro.

Resumo técnico

Título: Ações Falam Mais Alto do que Prompts: Um Estudo em Grande Escala de LLMs para Inferência em Grafos

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais aplicados a tarefas de aprendizado de máquina em grafos ricos em texto, como classificação de nós em detecção de fraudes e sistemas de recomendação. No entanto, apesar do aumento de interesse, o campo carece de uma compreensão principista sobre como os LLMs interagem com dados estruturados em grafos.

A maioria dos trabalhos anteriores foca em domínios específicos ou tarefas isoladas, sem uma avaliação controlada que compare diferentes modos de interação. Além disso, existe a suposição comum de que métodos baseados em LLMs falham em grafos heterofílicos (onde nós conectados tendem a ter classes diferentes) e que a simples "promptagem" (transformar o grafo em texto) é suficiente. O artigo visa preencher essa lacuna através de uma avaliação em grande escala, controlada e sistemática, para identificar as forças, fraquezas e dependências dos diferentes modos de interação.

2. Metodologia

Os autores realizaram uma avaliação controlada fatorando seis eixos principais de variabilidade:

1. Modo de Interação LLM-Grafo: Comparação entre três estratégias principais:
   • Prompting ($\phi_{prompt}$): Serialização do grafo em texto (vizinhança de 0, 1 e 2 hops) dentro de um único prompt.
   • GraphTool ($\phi_{tool}$): Abordagem estilo ReAct, onde o LLM usa ferramentas fixas para buscar vizinhos, características ou rótulos iterativamente.
   • Graph-as-Code ($\phi_{code}$): O LLM gera e executa código (Python/Pandas) para interagir com o grafo representado como uma tabela tipada, permitindo acesso composicional e flexível à estrutura e características.
2. Domínios de Dados: Redes de citação, links da web, e-commerce e redes sociais.
3. Regimes Estruturais: Grafos homofílicos (nós similares conectados) vs. heterofílicos.
4. Características de Texto: Atributos de nós de texto curto vs. texto longo.
5. Configuração do Modelo: Variações de tamanho (de Llama a GPT-5) e capacidades de raciocínio (com e sem raciocínio).
6. Análise de Dependência: Experimentos de ablação onde características, arestas e rótulos são truncados ou removidos para quantificar a dependência do modelo em cada tipo de entrada.

3. Principais Contribuições e Descobertas

O estudo revela que a estratégia de Graph-as-Code (Geração de Código) supera consistentemente as outras abordagens, especialmente em cenários complexos. As descobertas chave são:

• Superioridade do Graph-as-Code:

  • Este modo alcança o melhor desempenho geral. Ele é particularmente eficaz em grafos com textos longos ou alto grau de nós (muitas conexões), onde o método de Prompting rapidamente esgota o limite de tokens (janela de contexto), tornando-se inviável.
  • O Graph-as-Code consegue adaptar-se flexivelmente, focando no tipo de entrada mais informativo (estrutura, características ou rótulos) para cada caso específico.

• Desafio à Suposição de Heterofilia:

  • Contrariando trabalhos anteriores que sugeriam que LLMs falham em grafos heterofílicos, o estudo demonstra que todos os modos de interação (Prompting, Tool-use e Code) permanecem eficazes nesses cenários. O Graph-as-Code, em particular, mostra robustez reduzida (menos frágil) nesses casos.

• Análise de Dependência e Robustez:

  • Prompting vs. Código: O Prompting depende rigidamente da conexão de arestas para recuperar informações de vizinhos. Se as arestas forem removidas, o desempenho do Prompting colapsa. O Graph-as-Code, por outro lado, pode acessar características e rótulos de outros nós mesmo na ausência de arestas explícitas no prompt, mantendo alta precisão.
  • Limitação de Tokens: Em grafos densos ou com textos longos, o Prompting sofre com a perda de informação devido à necessidade de truncamento ou amostragem para caber na janela de contexto. O Graph-as-Code evita isso ao recuperar apenas os dados necessários sob demanda.
  • Raciocínio e Tamanho do Modelo: Modelos maiores e com capacidades de raciocínio (Reasoning) performam consistentemente melhor, mas o Graph-as-Code mantém sua vantagem sobre o Prompting independentemente do tamanho do modelo.

• Eficiência:

  • Embora o Graph-as-Code envolva chamadas iterativas, ele é mais eficiente em termos de tokens e latência em grafos complexos do que tentar encaixar todo o contexto em um único prompt massivo.

4. Resultados Quantitativos

• Em conjuntos de dados de texto longo (como photo, wiki-cs), o Prompting frequentemente atinge o limite de tokens, resultando em desempenho inferior ou falha, enquanto o Graph-as-Code mantém alta acurácia.
• Em grafos heterofílicos (ex: cornell, texas), o Graph-as-Code supera significativamente o Prompting e os baselines clássicos (como Label Propagation), demonstrando que o modelo consegue extrair sinais não-locais e baseados em características que heurísticas simples perdem.
• A ablação de arestas mostra que o Graph-as-Code é robusto à perda de estrutura se as características textuais estiverem intactas, enquanto o Prompting é altamente sensível à remoção de arestas.

5. Significado e Implicações

Este trabalho fornece diretrizes práticas e acionáveis para pesquisadores e engenheiros que integram LLMs em sistemas de grafos:

1. Preferência por Geração de Código: Para grafos grandes, complexos, densos ou com textos longos, a geração de código (Graph-as-Code) deve ser o modo de interação preferido, superando a simples promptagem.
2. Viabilidade em Grafos Heterofílicos: Não há necessidade de evitar LLMs em grafos com baixa homofilia; eles são viáveis e eficazes, especialmente quando usados com estratégias adaptativas.
3. Robustez a Dados Incompletos: A capacidade do Graph-as-Code de alternar a dependência entre estrutura, características e rótulos o torna ideal para cenários do mundo real onde dados podem ser ruidosos ou parciais.

Em resumo, o artigo conclui que "ações" (código executável e ferramentas) falam mais alto do que "prompts" estáticos, oferecendo uma abordagem mais escalável, robusta e eficiente para a inferência em grafos com LLMs.