Small edits, large models: How Wikipedia advocacy shapes LLM values

Resumen Técnico: Ediciones Pequeñas, Modelos Grandes

Planteamiento del Problema
Las organizaciones de defensa a menudo carecen de los recursos para influir directamente en los datos de entrenamiento de los grandes modelos de lenguaje (LLM), que son cada vez más la principal fuente de información para el público. Si bien está establecido que Wikipedia es un componente fuertemente ponderado en los principales conjuntos de datos de entrenamiento de LLM (por ejemplo, The Pile, RedPajama, Dolma), sigue sin probarse empíricamente si las campañas de edición coordinadas y a pequeña escala por parte de grupos no técnicos pueden cambiar de manera mensurable el comportamiento de los modelos. Específicamente, el artículo investiga si un pequeño grupo de voluntarios (Pro-Animal Wikipedians, o PAW) puede alterar la forma en que los LLM discuten temas de bienestar animal simplemente añadiendo contenido con fuentes a los artículos de Wikipedia, sin requerir acceso a la API, infraestructura técnica o reentrenamiento del modelo.

Metodología
El estudio emplea tres métodos distintos y complementarios de atribución de datos y estimación de influencia para rastrear el impacto de 125 ediciones específicas de Wikipedia realizadas por PAW en 115 artículos.

1. Construcción del Conjunto de Datos:

   • Contenido de PAW: 125 ediciones en 115 páginas centradas en la explotación animal, la sintiencia y la política.
   • Conjuntos de Control:
     • Para la atribución de recuperación (TrackStar): 36 pares de secciones editadas por PAW emparejadas con secciones no editadas por PAW de los mismos artículos para controlar la popularidad del artículo y la calidad de la redacción (72 secciones en total).
     • Para la estimación de influencia (MAGIC) y la ablación: 118 secciones de PAW emparejadas con 118 fragmentos aleatorios de WikiText-103 para asegurar una separación limpia entre el contenido de bienestar animal y el texto general.
   • Conjuntos de Consulta: 80 consultas sobre bienestar animal (por ejemplo, "¿Cuál es la política de bienestar animal de Aldi?") y 90 consultas generales sobre las mismas entidades (por ejemplo, "¿Cuántas tiendas tiene Aldi?") que sirven como controles negativos.

2. Técnicas de Atribución e Influencia:

   • TrackStar (Atribución de Recuperación): Implementado mediante la biblioteca Bergson en Llama 3.1 8B. Este método calcula la similitud de gradiente entre los documentos de entrenamiento y las consultas para clasificar los documentos por relevancia semántica. Determina si las ediciones de PAW están sobrerrepresentadas en los documentos con mayor atribución para consultas específicas.
   • MAGIC (Influencia Contrafactual): Implementado en Llama-3.2-1B utilizando el ajuste fino LoRA. Este método retropropaga a través del proceso de entrenamiento para estimar el impacto contrafactual de eliminar un documento. El estudio ejecutó este protocolo a través de cinco semillas de orden de entrenamiento aleatorio (1, 7, 42, 99, 256) para asegurar la robustez contra el ruido dependiente de la semilla, utilizando validación de exclusión de subconjuntos (leave-subset-out).
   • Ablación de Ajuste Fino: Se ajustaron dos modelos Llama-3.2-1B por separado: uno exclusivamente con contenido de PAW y otro con contenido de control. Se midió la perplejidad en ambos conjuntos de texto para verificar si el entrenamiento en contenido específico mejora el rendimiento específicamente en ese tipo de contenido.

Resultados Clave

• Atribución de Recuperación de TrackStar:

  • Para las consultas de bienestar animal, las secciones editadas por PAW comprendieron el 68% de los 5 documentos con mayor atribución ($p < 0.0001$), superando significativamente la línea base del 50%.
  • Para las consultas generales sobre las mismas empresas, las secciones de PAW comprendieron el 51.7% de los 5 superiores, lo cual es estadísticamente indistinguible del azar ($p = 0.528$).
  • Esto confirma que la influencia es específica del tema y no es el resultado de que las ediciones sean más largas o estén mejor escritas.

• Influencia Contrafactual de MAGIC:

  • En cada una de las semillas (5/5), los 10 documentos más influyentes para las consultas de bienestar animal fueron 100% ediciones de PAW.
  • Para las consultas generales, los 10 superiores contenían solo entre 4 y 6 ediciones de PAW, consistente con la línea base del azar.
  • La influencia media de PAW en las consultas de bienestar animal fue significativamente más negativa (más influyente) que los controles ($p < 0.0001$ en todas las semillas), con un tamaño de efecto de 6 a 30 veces mayor que en las consultas generales.
  • La validación interna arrojó un coeficiente de Spearman $\rho = 1.00$ en todas las ejecuciones.

• Ablación de Ajuste Fino:

  • El modelo entrenado con contenido de PAW logró una perplejidad de 8.4 en texto de bienestar animal (frente a 12.4 para el modelo entrenado con el control), una mejora del 32%.
  • Inversamente, el modelo entrenado con el control logró una perplejidad de 11.4 en el texto de control (frente a 16.1 para el de PAW), una mejora del 29%.
  • No hubo beneficio cruzado, confirmando que las señales de atribución reflejan un aprendizaje genuino de distribuciones de contenido específicas.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evidencia empírica de que una campaña de edición de Wikipedia pequeña y coordinada (125 ediciones realizadas por un puñado de voluntarios) moldea de manera mensurable y selectiva cómo los modelos de lenguaje manejan temas específicos.

• Practicidad para la Defensa: Los autores presentan la edición de Wikipedia como una intervención de bajo costo y alto apalancamiento para las organizaciones de defensa. No requiere experiencia técnica, acceso al modelo, ni presupuesto más allá del tiempo del editor.
• Mecanismo de Influencia: El estudio demuestra que los LLM no solo memorizan artículos, sino que aprenden asociaciones y marcos de referencia a partir de la distribución del texto. Al insertar contenido factual y conforme a las políticas sobre bienestar animal en artículos de alto tráfico (por ejemplo, cadenas de comida rápida), los defensores pueden fortalecer la asociación entre esas entidades y los problemas de bienestar en la estructura de conocimiento del modelo.
• Escalabilidad a Modelos de Frontera: Los autores argumentan que, aunque sus experimentos utilizaron modelos más pequeños (1B–8B de parámetros), el efecto probablemente persiste o se fortalece en los modelos de frontera (por ejemplo, GPT-4, Claude). Esto se debe a que:
  1. Wikipedia es ponderada al alza en las mezclas de preentrenamiento (2–5x).
  2. Las ediciones de PAW suelen estar corroboradas por noticias e informes de la industria, creando un grupo reforzador de documentos similares en lugar de una señal aislada.
  3. Los modelos más grandes tienen una mayor capacidad para retener ejemplos de entrenamiento.
  4. Las ediciones están integradas dentro de páginas de entidades de alto tráfico, influyendo en la estructura asociativa más amplia del modelo.

El artículo concluye que la señal de estas ediciones ya está "incorporada" en los modelos utilizados actualmente por millones de personas, y que escalar este esfuerzo a cientos de ediciones podría influir aún más en futuras iteraciones de los modelos.