RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

Resumen Técnico: RedditPersona

Planteamiento del Problema
La investigación actual sobre la adaptación de Modelos de Lenguaje de Gran Escala (LLM) condicionada por comunidades carece de estandarización. Los estudios suelen tratar la recolección de datos, la definición de la comunidad, la adaptación del modelo y la evaluación como elecciones acopladas y específicas de cada estudio. Esta fragmentación dificulta la comparación de supuestos (por ejemplo, si un límite de subreddit o un grafo de interacción es una mejor unidad de análisis), la reutilización de artefactos o la determinación de si los modelos condicionados por comunidad son genuinamente distintos de las líneas base globales. Existe una necesidad crítica de un pipeline reproducible que permita a los investigadores probar cómo diferentes definiciones de "comunidad" afectan el comportamiento de los LLM sin tener que reconstruir todo el flujo de trabajo de datos-a-modelo para cada nuevo estudio.

Metodología: El Marco RedditPersona
Los autores presentan RedditPersona, un marco modular y de extremo a extremo diseñado para transformar publicaciones y comentarios de Reddit en adaptadores de LLM reutilizables y condicionados por comunidad. El marco opera a través de seis fases distintas y configurables:

1. Recolección de Datos: Utilizando un scraper basado en AsyncPRAW, el sistema recolecta publicaciones y comentarios de subreddits especificados por el usuario. Filtra comunidades privadas, NSFW o de bajos suscriptores y genera dos artefactos centrales: una matriz de actividad dispersa de usuario-por-subreddit y un grafo de interacción dirigido de usuario-a-usuario ponderado por la frecuencia de respuesta.
2. Perfilado de Usuario: Un agregador de flujo (streaming) construye perfiles para usuarios activos (que cumplen con un umbral mínimo de actividad), generando histogramas estructurados, segmentos de actividad y corpora de texto concatenados sin agotar la memoria del sistema.
3. Agrupación de Comunidades: El marco implementa cinco estrategias distintas para particionar usuarios en comunidades, todas compartiendo una interfaz uniforme:
   • S1 (Línea Base de Subreddit): Cada subreddit es una comunidad.
   • S2 (Grafo): Proyecta el grafo bipartito usuario-subreddit en un grafo de similitud usuario-usuario, particionado mediante Leiden (con respaldo de Louvain).
   • S3 (Semántica): Incrusta (embeds) los corpora de texto de los usuarios y los agrupa mediante K-means.
   • S4 (Híbrida): Mezcla linealmente la similitud de grafo y semántica antes de aplicar Leiden.
   • S5 (Interacción): Particiona el grafo de respuestas directamente usando Leiden.
   • Post-procesamiento: Todas las estrategias consolidan las salidas en las $K$ comunidades más grandes más un grupo de "otros" para asegurar cardinalidades comparables. Se aplican anonimización (HMAC-SHA256) y eliminación de PII (Información de Identificación Personal).
4. Adaptación de LLM: Para cada estrategia de agrupación, el marco realiza el ajuste fino (fine-tuning) de un LLM base (específicamente IBM Granite 4.1-3B en el caso de estudio) utilizando QLoRA (cuantización de 4 bits NF4 con doble cuantización). Los datos de entrenamiento se formatean como conversaciones de ajuste de instrucciones donde la identidad de la comunidad se codifica en el prompt del sistema.
5. Generación: El pipeline genera respuestas para conversaciones de prueba retenidas utilizando los adaptadores entrenados y el modelo base.
6. Evaluación: Un conjunto de métricas compartidas evalúa los adaptadores a través de cuatro dimensiones:
   • Fluidez: Perplejidad (PPL).
   • Fidelidad: Métricas léxicas (Dist-$n$, Vocab-Jaccard) y semánticas (BERTScore-F1, MAUVE).
   • Alineación Distribucional: Divergencia de tópicos (Topic-KL) y divergencia de sentimiento (Sent-JSD).
   • Identificabilidad de la Comunidad: Una sonda discriminativa (Comm-F1) que entrena un clasificador para recuperar la etiqueta de la comunidad de origen a partir del texto generado.

Configuración Experimental
El marco se aplicó a un corpus de 112 subreddits centrados en el bienestar urbano, que comprende 301,429 perfiles de usuario únicos y más de 16 millones de comentarios recolectados desde enero de 2022 hasta abril de 2026. El estudio comparó las cinco estrategias de agrupación (S1–S5) contra una línea base de cero disparos (zero-shot) y una línea base global de "todos los datos" (baseline_all).

Resultados Clave

• Identificabilidad Conductual: La capacidad de un adaptador para generar texto identificable como perteneciente a una comunidad específica (Comm-F1) se correlaciona directamente con el acuerdo de la estrategia de agrupación con la línea base del subreddit (S1). Las estrategias con mayor Información Mutua Normalizada (NMI) contra la línea base del subreddit produjeron puntuaciones de Comm-F1 más altas.
• Compromiso entre Identificabilidad y Naturalidad: Se observó un compromiso (trade-off) constante en todas las estrategias.
  • Los adaptadores S1 (Subreddit) lograron la mayor identificabilidad (Comm-F1 = 0.262) y la menor perplejidad (38.29), pero fueron menos "naturales" en términos de similitud distribucional con el texto real (menor MAUVE).
  • Los adaptadores S3 (Semántica) lograron la mayor similitud distribucional (mejor MAUVE y BERTScore-F1) pero la más débil identificabilidad (Comm-F1 = 0.132).
• Ganancias de Desempeño: Todos los adaptadores condicionados por comunidad redujeron la perplejidad entre un 16% y un 34% y la divergencia de sentimiento aproximadamente 3 a 4 veces en comparación con el modelo base de cero disparos, confirmando que el ajuste fino sobre datos específicos de la comunidad captura la fluidez léxica y el estilo afectivo.
• Comparación de Estrategias: Las particiones basadas en contenido (S2, S4) produjeron cúmulos compactos pero retuvieron distribuciones de tamaño de cola larga. S5 (Interacción) mostró baja coherencia, sugiriendo que captura lazos sociales ortogonales al contenido. S4 (Híbrida) se comportó de manera similar a S2, indicando que la simple mezcla lineal de señales de grafo y semántica produce diferencias modestas en las métricas posteriores.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Estandarización: Libera un marco de extremo a extremo y configurable que estandariza todo el pipeline, desde los datos crudos de Reddit hasta los artefactos de evaluación, permitiendo comparaciones reproducibles de las definiciones de comunidad.
2. Comparación Unificada: Proporciona una interfaz unificada para comparar múltiples estrategias de agrupación de comunidades utilizando métricas y post-procesamiento comunes, abordando la dificultad de responder preguntas metodológicas sobre la "unidad más apropiada" de comunidad.
3. Reutilización: Ofrece un conjunto de scripts reutilizables (configuración, anonimización, ajuste fino, evaluación) que permiten a investigaciones futuras comparar LLMs condicionados por comunidad sin reconstruir el pipeline de datos subyacente.

Los autores concluyen que la calidad de la partición predice la identificabilidad conductual y que la elección de la definición de comunidad implica un compromiso fundamental entre qué tan bien un modelo imita el comportamiento de un grupo específico y qué tan naturalmente genera texto en relación con el corpus general. El marco sirve como un pipeline experimental para probar estas elecciones de agrupación de datos más que como una solución definitiva para una única aplicación.