Large language models can disambiguate opioid slang on social media

Título: Grandes Modelos de Linguagem podem Desambiguar Gírias de Opioides em Redes Sociais

1. O Problema

O monitoramento da crise de overdose de opioides através de redes sociais é uma ferramenta promissora para obter insights em tempo real. No entanto, enfrenta um desafio fundamental: a "agulha no palheiro". A vasta maioria do texto em redes sociais não está relacionada a opioides, tornando a identificação de conteúdo relevante difícil e custosa.

• Limitação das Abordagens Atuais: A estratégia comum utiliza léxicos (listas de palavras-chave) para filtrar conteúdo. Contudo, muitos termos de gíria para opioides (ex: "smack", "blues", "lean") possuem significados não relacionados a drogas, tornando-os ambíguos.
• Consequências:
  • Se termos ambíguos forem excluídos para evitar ruído, perde-se conteúdo relevante (baixa recall).
  • Se incluídos, gera-se muito ruído, exigindo revisão manual demorada por especialistas para validar cada post.
• Limitação de Modelos Antigos: Abordagens de vocabulário aberto (como LDA) são difíceis de escalar e interpretar para rotular posts específicos como relevantes.

2. Metodologia

Os autores propõem um pipeline que utiliza Grandes Modelos de Linguagem (LLMs) para desambiguar termos e classificar posts sem depender de léxicos pré-definidos.

• Modelos Avaliados: Quatro LLMs de última geração foram testados:
  • OpenAI GPT-4 e GPT-5
  • Anthropic Claude Sonnet 4.5
  • Google Gemini 2.5 Pro
• Engenharia de Prompt: Foi desenvolvido um esquema de prompting iterativo onde o modelo primeiro "raciocina" sobre o conteúdo antes de emitir um rótulo final ("relacionado a opioides", "não relacionado" ou "incerto"). A temperatura foi definida como 0 para garantir consistência.
• Três Tarefas de Avaliação:
  1. Tarefa Baseada em Léxico: O modelo deve desambiguar termos específicos ("fenty", "smack", "lean") dentro do contexto de um post, distinguindo entre o uso de droga e outros significados.
  2. Tarefa Livre de Léxico: O modelo deve identificar posts relacionados a opioides em um conjunto de dados geolocalizado (3 milhões de tweets) sem usar palavras-chave pré-definidas como filtro inicial.
  3. Tarefa de Gíria Emergente: Para testar a capacidade de generalização, os autores substituíram termos de gíria reais por nomes de Pokémon (ex: "fenty" virou "Pikachu") em tweets sobre opioides. O objetivo era ver se o modelo conseguia inferir a relevância baseada apenas no contexto, mesmo sem conhecer a gíria específica.
• Dados e Validação:
  • Conjuntos de dados incluíram o "Spritzer" do Twitter (setembro de 2022) e tweets geolocalizados de NY e CA.
  • Uma amostra foi rotulada manualmente por especialistas para servir como "verdadeira base" (ground truth).
  • Métricas utilizadas: Precisão, Recall (Revocação), F1-Score e Acurácia.

3. Principais Contribuições

• Prova de Conceito em Escala: Demonstrar que LLMs comerciais podem ser usados eficazmente para filtrar grandes volumes de texto para tópicos de baixa prevalência.
• Superação de Léxicos: Evidência robusta de que a capacidade de raciocínio contextual dos LLMs supera as abordagens baseadas em listas de palavras-chave, especialmente na desambiguação de gírias.
• Generalização: A descoberta de que essa capacidade não é exclusiva de um modelo específico, mas uma característica consistente entre diferentes arquiteturas de LLMs modernos.
• Abordagem para Gírias Emergentes: Demonstração de que os LLMs podem inferir a relevância de termos de drogas mesmo quando os termos específicos foram alterados ou são novos, desde que o contexto seja claro.

4. Resultados

Os quatro LLMs avaliados superaram consistentemente as melhores estratégias baseadas em léxicos em todas as tarefas.

• Tarefa Baseada em Léxico:
  • Os LLMs alcançaram F1-Scores entre 0.540 e 0.972.
  • Em comparação, as melhores estratégias de léxico tiveram F1-Scores de apenas 0.126 (para "fenty") e 0.009 (para "smack").
  • Os modelos mantiveram alta precisão, minimizando falsos positivos, enquanto capturavam a maioria dos casos reais.
• Tarefa Livre de Léxico:
  • Os LLMs alcançaram F1-Scores entre 0.544 e 0.769, superando os léxicos (0.080 - 0.540).
  • O diferencial mais significativo foi o Recall: os LLMs tiveram recall uniformemente mais alto (0.693 - 0.965) comparado aos léxicos (0.053 - 0.386). Isso significa que os LLMs encontraram muito mais posts relevantes que os léxicos.
• Tarefa de Gíria Emergente:
  • Mesmo com a substituição de termos por nomes de Pokémon, os LLMs mantiveram alta precisão (média de 0.981) e recall (média de 0.587), superando os léxicos que falharam completamente ao não reconhecer os termos modificados.
• Consistência: Não houve um único "vencedor" absoluto; todos os modelos (GPT-4, GPT-5, Claude, Gemini) performaram bem, sugerindo que a melhoria é uma propriedade geral dos LLMs modernos.

5. Significado e Implicações

• Monitoramento de Saúde Pública: A capacidade de aumentar o recall sem sacrificar excessivamente a precisão permite que pesquisadores analisem conjuntos de dados muito maiores de redes sociais, melhorando a detecção precoce de tendências de overdose e o uso de novas substâncias.
• Eficiência Operacional: O uso de LLMs como etapa de filtragem inicial reduz drasticamente a necessidade de revisão manual extensiva, permitindo que especialistas foquem apenas nos casos mais complexos ou nos dados já filtrados.
• Aplicabilidade Geral: Embora o estudo foque em opioides, a metodologia é aplicável a qualquer tópico de baixa prevalência e alto estigma na internet (ex: outras drogas, saúde mental, violência).
• Considerações Éticas: Os autores enfatizam que essa tecnologia deve ser usada estritamente para monitoramento populacional para informar estratégias de redução de danos e tratamento. Eles se opõem veementemente ao uso de LLMs para vigilância individual, censura automatizada ou criminalização de usuários, destacando a impossibilidade de determinar com certeza o uso de drogas de um indivíduo apenas por posts públicos.

Conclusão: O estudo estabelece que os Grandes Modelos de Linguagem representam um avanço significativo na mineração de dados de redes sociais para saúde pública, oferecendo uma solução escalável e precisa para o problema crônico da desambiguação de gírias em contextos de crise de opioides.