RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

Resumo Técnico: RedditPersona

Problema
A pesquisa atual sobre a adaptação de Grandes Modelos de Linguagem (LLMs) condicionada a comunidades carece de padronização. Os estudos tipicamente tratam a coleta de dados, a definição de comunidade, a adaptação do modelo e a avaliação como escolhas fortemente acopladas e específicas de cada estudo. Essa fragmentação dificulta a comparação de premissas (por exemplo, se um limite de subreddit ou um grafo de interação é uma unidade de análise melhor), o reuso de artefatos ou a determinação se modelos condicionados por comunidade são genuinamente distintos de baselines globais. Há uma necessidade crítica de um pipeline reprodutível que permita aos pesquisadores testar como diferentes definições de "comunidade" afetam o comportamento de LLMs sem reconstruir todo o fluxo de trabalho de dados para o modelo a cada novo estudo.

Metodologia: O Framework RedditPersona
Os autores apresentam o RedditPersona, um framework modular e de ponta a ponta projetado para transformar posts e comentários brutos do Reddit em adaptadores de LLM reutilizáveis e condicionados por comunidade. O framework opera através de seis fases distintas e configuráveis:

1. Coleta de Dados: Utilizando um scraper baseado em AsyncPRAW, o sistema coleta posts e comentários de subreddits especificados pelo usuário. Ele filtra comunidades privadas, NSFW ou com baixo número de assinantes e gera dois artefatos principais: uma matriz esparsa de atividade usuário-por-subreddit e um grafo direcionado de interação usuário-para-usuário ponderado pela frequência de respostas.
2. Perfilamento de Usuário: Um agregador de streaming constrói perfis para usuários ativos (que atendem a um limiar mínimo de atividade), gerando histogramas estruturados, fatias de atividade e corpora de texto concatenados sem esgotar a memória do sistema.
3. Agrupamento de Comunidade: O framework implementa cinco estratégias distintas para particionar usuários em comunidades, todas compartilhando uma interface uniforme:
   • S1 (Baseline de Subreddit): Cada subreddit é uma comunidade.
   • S2 (Grafo): Projeta o grafo bipartido usuário-subreddit em um grafo de similaridade usuário-usuário, particionado via Leiden (com fallback para Louvain).
   • S3 (Semântico): Incorpora (embeds) os corpora de texto dos usuários e os agrupa via K-means.
   • S4 (Híbrido): Mistura linearmente a similaridade de grafo e semântica antes de aplicar Leiden.
   • S5 (Interação): Particiona o grafo de respostas diretamente usando Leiden.
   • Pós-processamento: Todas as estratégias consolidam as saídas nas $K$ maiores comunidades mais um balde "outro" para garantir cardinalidades comparáveis. Anonimização (HMCA-SHA256) e remoção de PII são aplicadas.
4. Adaptação de LLM: Para cada estratégia de agrupamento, o framework realiza o ajuste fino (fine-tuning) de um LLM base (especificamente o IBM Granite 4.1-3B no caso de estudo) usando QLoRA (quantização 4-bit NF4 com dupla quantização). Os dados de treinamento são formatados como conversas de ajuste de instrução onde a identidade da comunidade é codificada no prompt de sistema.
5. Geração: O pipeline gera respostas para conversas de teste retidas usando os adaptadores treinados e o modelo base.
6. Avaliação: Um conjunto de métricas compartilhado avalia os adaptadores em quatro dimensões:
   • Fluência: Perplexidade (PPL).
   • Fidelidade: Léxica (Dist-$n$, Vocab-Jaccard) e Semântica (BERTScore-F1, MAUVE).
   • Alinhamento Distribucional: Divergência de tópico (Topic-KL) e divergência de sentimento (Sent-JSD).
   • Identificabilidade de Comunidade: Uma sonda discriminativa (Comm-F1) que treina um classificador para recuperar o rótulo da comunidade de origem a partir do texto gerado.

Configuração Experimental
O framework foi aplicado a um corpus de 112 subreddits focados em bem-estar urbano, compreendendo 301.429 perfis de usuários únicos e mais de 16 milhões de comentários coletados de janeiro de 2022 a abril de 2026. O estudo comparou as cinco estratégias de agrupamento (S1–S5) contra um baseline zero-shot e um baseline global de "todos os dados" (baseline_all).

Resultados Principais

• Identificabilidade Comportamental: A capacidade de um adaptador gerar texto identificável como pertencente a uma comunidade específica (Comm-F1) correlaciona-se diretamente com a concordância da estratégia de agrupamento com o baseline de subreddit (S1). Estratégias com maior Informação Mútua Normalizada (NMI) contra o baseline de subreddit produziram pontuações Comm-F1 mais altas.
• Trade-off entre Identificabilidade e Naturalidade: Um trade-off consistente foi observado em todas as estratégias.
  • Adaptadores S1 (Subreddit) alcançaram a maior identificabilidade (Comm-F1 = 0,262) e a menor perplexidade (38,29), mas foram menos "naturais" em termos de similaridade distribucional ao texto real (menor MAUVE).
  • Adaptadores S3 (Semântico) alcançaram a maior similaridade distribucional (melhor MAUVE e BERTScore-F1), mas a mais fraca identificabilidade (Comm-F1 = 0,132).
• Ganhos de Desempenho: Todos os adaptadores condicionados por comunidade reduziram a perplexidade em 16–34% e a divergência de sentimento em cerca de 3–4× em comparação com o modelo base zero-shot, confirmando que o ajuste fino em dados específicos de comunidade captura fluência lexical e estilo afetivo.
• Comparação de Estratégias: Partições baseadas em conteúdo (S2, S4) produziram clusters densos, mas mantiveram distribuições de tamanho de cauda longa. S5 (Interação) mostrou baixa coerência, sugerindo que captura laços sociais ortogonais ao conteúdo. S4 (Híbrido) teve desempenho semelhante ao S2, indicando que a simples mistura linear de sinais de grafo e semântica produz diferenças modestas nas métricas de downstream.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Padronização: Ele lança um framework de ponta a ponta e configurável que padroniza todo o pipeline, desde os dados brutos do Reddit até os artefatos de avaliação, permitindo comparações reprodutíveis de definições de comunidade.
2. Comparação Unificada: Fornece uma interface unificada para comparar múltiplas estratégias de agrupamento de comunidades usando processos de pós-processamento e métricas comuns, abordando a dificuldade de responder a questões metodológicas sobre a "unidade mais apropriada" de comunidade.
3. Reusabilidade: Oferece um conjunto de scripts reutilizáveis (configuração, anonimização, ajuste fino, avaliação) que permitem que pesquisas futuras comparem LLMs condicionados por comunidade sem reconstruir o pipeline de dados subjacente.

Os autores concluem que a qualidade da partição prevê a identificabilidade comportamental e que a escolha da definição de comunidade envolve um trade-off fundamental entre o quão bem um modelo imita o comportamento de um grupo específico e o quão naturalmente ele gera texto em relação ao corpus amplo. O framework serve como um pipeline experimental para testar essas escolhas de agrupamento de dados, em vez de uma solução definitiva para uma única aplicação.