Resumo Técnico: GORAG para Classificação de Texto de Mídias Sociais com Poucos Exemplos e Dinâmica de Dados (Dynamic Few-shot)

Definição do Problema

O artigo aborda a tarefa de Classificação de Texto de Mídias Sociais com Poucos Exemplos e Dinâmica de Dados (DFSTC). Este cenário envolve a classificação de textos de mídias sociais (ex: discurso de ódio, desinformação) onde:

1. Escassez de Dados: Apenas alguns exemplos rotulados estão disponíveis por classe (few-shot).
2. Evolução Dinâmica: Novas classes (rótulos) emergem frequentemente ao longo do tempo (ex: novos tipos de abuso ou desinformação), exigindo que os modelos se adaptem sem necessidade de retreinamento extensivo ou novos dados rotulados.
3. Limitações das Abordagens Existentes:
   • Modelos de Redes Neurais (NN): Requerem abundância de dados rotulados para o ajuste fino (fine-tuning) e frequentemente sofrem overfitting quando os dados são escassos ou desbalanceados.
   • Aumento de Dados (Data Augmentation): Os dados gerados muitas vezes carecem de padrões diversos e levam ao overfitting.
   • RAG de Contexto Longo: Embora os Grandes Modelos de Linguagem (LLMs) possam lidar com tarefas de few-shot, a integração de informações laterais recuperadas (como descrições de rótulos) aumenta o tamanho da entrada, sobrecarregando o contexto com ruído e elevando os custos de tokens.
   • RAG Baseado em Grafos Existente: As abordagens atuais sofrem de três problemas específicos no contexto de DFSTC:
     • Indexação Uniforme: Trata todos os fragmentos de texto e extrações de palavras-chave com igual importância, ignorando níveis variados de confiança.
     • Recuperação Não Adaptativa: Depende de limiares (thresholds) globais predefinidos para a recuperação, que podem não ser ideais para consultas específicas ou rodadas evolutivas.
     • Fonte Estreita: Recupera informações apenas de um conjunto limitado de textos de treinamento, ignorando informações valiosas que emergem nos textos das consultas (queries).

Metodologia: GORAG

Os autores propõem o GORAG (Graph-based Online Retrieval Augmented Generation), um framework projetado para construir e manter um grafo ponderado online adaptável para recuperar contexto preciso para classificação. O framework opera em três estágios principais:

1. Indexação de Grafo Offline

O GORAG constrói um grafo ponderado $G_r$ baseado em dados de treinamento rotulados $D_r$ para a rodada atual $r$.

• Nós: O grafo consiste em nós de palavras-chave (extraídos do texto usando pontuações TF-IDF normalizadas) e nós de rótulo (representando as classes alvo).
• Mecanismo de Pesagem de Arestas: Diferente da indexação uniforme, o GORAG atribui pesos às arestas que conectam palavras-chave a rótulos. O peso $w_{v,y}$ é calculado com base na importância da palavra-chave dentro do corpus de texto e sua relação com o rótulo específico $y$. Isso é derivado da média de $(1 - \text{pontuação TF-IDF})$ em todos os textos contendo a palavra-chave e rotulados com $y$.
• Fusão de Grafos: Grafos de rodadas anteriores são fundidos com novos grafos. Para garantir a conectividade entre os conjuntos de rótulos antigos e novos, arestas são adicionadas entre nós de rótulos novos e antigos, com pesos calculados como a média de suas conexões com nós de palavras-chave compartilhados.

2. Recuperação de Grafo Adaptativa

Para um determinado texto de consulta, o GORAG realiza a recuperação sem a necessidade de limiares definidos por humanos.

• Extração de Palavras-chave: Palavras-chave são extraídas do texto da consulta. Aquelas que já existem no grafo ($V_{exist}$) são usadas para recuperação; as novas ($V_{notexist}$) são reservadas para a indexação online.
• Árvore Geradora Mínima (MST): O problema de recuperação é formulado como encontrar um subgrafo que conecte todos os nós de palavras-chave extraídos com o peso total de aresta mínimo (um problema de Árvore de Steiner NP-difícil).
• Solução Gananciosa (Greedy): Um algoritmo ganancioso (baseado no algoritmo de Melhorn) aproxima a solução. Ele constró o uma Árvore Geradora Mínima (MST) sobre o grafo que inclui as palavras-chave da consulta.
• Seleção de Candidatos: Todos os nós de rótulo contidos nesta MST gerada são recuperados como o conjunto de rótulos candidatos $\hat{Y}_r$. Isso garante que apenas rótulos semanticamente conectados às palavras-chave da consulta via o caminho mais eficiente sejam considerados, eliminando a necessidade de limiares arbitrários.

3. Classificação e Indexação de Grafo Online

• Classificação: O LLM recebe o texto da consulta, os rótulos candidatos recuperados e suas descrições (se disponíveis) para realizar a classificação final.
• Indexação Online: Para abordar o problema da "fonte estreita", o framework atualiza o grafo em tempo real. Palavras-chave extraídas do texto da consulta que ainda não existem no grafo são adicionadas como novos nós. Elas são conectadas ao rótulo previsto do texto da consulta com pesos calculados através do mesmo mecanismo de pesagem de arestas. Isso enriquece o grafo para consultas futuras, embora o mecanismo inclua penalidades para reduzir o ruído de classificações potencialmente imprecisas do LLM.

Principais Contribuições

1. Proposta de Framework: Introdução do GORAG, um framework de RAG online especificamente para DFSTC que aborda os problemas de indexação uniforme, recuperação não adaptativa e fonte estreita.
2. Mecanismo de Pesagem de Arestas: Um método inovador para pesar arestas entre palavras-chave e rótulos com base na importância do corpus e relevância do rótulo, permitindo uma modelagem de relações mais precisa.
3. Formulação de Recuperação Adaptativa: Formulação da recuperação de rótulos candidatos como um problema de Árvore de Steiner e fornecimento de uma solução de algoritmo ganancioso eficiente que elimina a necessidade de limiares definidos por humanos.
4. Validação Empírica: Experimentos extensos demonstrando a eficácia e eficiência do GORAG em benchmarks de detecção de abuso e desinformação em mídias sociais.

Resultados Experimentais

Os autores avaliaram o GORAG em três conjuntos de dados: CAD (abuso em mídias sociais), WOS (resumos acadêmicos) e IFS-Rel (desinformação em notícias da web).

• Eficácia: O GORAG superou todas as linhas de base (incluindo modelos baseados em NN como Entailment, RAGs de contexto longo como NaiveRAG e LongLLMLingua, e RAGs baseados em grafos como GraphRAG, LightRAG e HippoRAG2) em todas as rodadas e configurações de shot (1-shot, 5-shot, 10-shot).
  • No conjunto de dados IFS-Rel (1-shot), o GORAG alcançou 96,88% de precisão na Rodada 1, superando significativamente o segundo melhor (LightRAG com 75,78%).
  • O GORAG manteve uma precisão competitiva conforme o número de rodadas aumentava (até 8 rodadas), enquanto as linhas de base como GraphRAG e NaiveRAG apresentaram quedas significativas de desempenho.
• Eficiência:
  • Custo de Tokens: O GORAG consumiu significativamente menos tokens por consulta (ex: 557,5 tokens no IFS-Rel) comparado às linhas de base de RAG baseadas em grafos (ex: GraphRAG com 9296,3 tokens), resultando em menores custos.
  • Tempo: Apesar da indexação online, o GORAG alcançou eficiência de tempo comparável ou superior às linhas de base.
  • Memória: O uso de memória do grafo permaneceu baixo (abaixo de 50KB para o conjunto de dados testado), mostrando escalabilidade.
• Estudos de Ablação: A remoção da indexação online ("GORAG offline") ou do mecanismo de pesagem de arestas ("GORAG unit") resultou em menor precisão, confirmando a necessidade de ambos os componentes.

Significância e Alegações

O artigo afirma que o GORAG fornece uma solução robusta para cenários do mundo real onde tarefas de classificação evoluem dinamicamente com dados rotulados limitados. Ao alavancar um grafo ponderado e recuperação adaptativa via MST, o GOR_AG:

• Preserva informações detalhadas ao nível de entidade que são frequentemente perdidas em abordagens de RAG de contexto longo.
• Adapta-se a novas classes e atualizações de rótulos sem exigir retreinamento extensivo ou ajuste manual de limiares.
• Reduz o problema de "perda no meio" (lost-in-the-middle) e os altos custos de tokens associados a LLMs proprietários lidando com contextos longos.
• Demonstra que a recuperação precisa baseada em grafos pode aumentar significativamente o desempenho do LLM em tarefas de classificação few-shot e dinâmicas, particularmente para aplicações sensíveis como detecção de discurso de ódio e desinformação.

Os autores concluem que o GORAG equilibra efetivamente a necessidade de um contexto abrangente com as restrições de ambientes dinâmicos de few-shot, oferecendo uma abordagem prática para aplicações de "Web para o Bem" (Web for Good).