Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

Resumen Técnico: Grokipedia vs. Wikipedia: Una auditoría de la neutralidad política basada en LLM a lo largo de las ideologías

Planteamiento del problema
Las enciclopedias en línea funcionan como bases de conocimiento público críticas que moldean la opinión política y el discurso democrático. Mientras que Wikipedia ha enfrentado acusaciones de sesgo "de izquierda" o "liberal", xAI lanzó Grokipedia a finales de 2025 como una alternativa enciclopédica generada enteramente por el Modelo de Lenguaje Grande (LLM) Grok, posicionándola como una fuente más neutral. La pregunta central de investigación es si una enciclopedia generada por un LLM ofrece una mayor neutralidad que una editada por humanos, o si simplemente incorpora un sesgo ideológico diferente. Además, dado que los propios LLM pueden poseer sesgos, el estudio investiga cómo la elección del evaluador influye en las evaluaciones de neutralidad.

Metodología
Los autores proponen una metodología de auditoría a gran escala fundamentada en dimensiones ideológicas codificadas por expertos y un panel de diversos jueces de LLM. El proceso consta de tres etapas principales:

1. Construcción del conjunto de datos:

   • Sujetos: El estudio utiliza el conjunto de datos WhoGov para identificar a 9,752 miembros de gobiernos de 177 países (2016–2023).
   • Fundamentación ideológica: Para evitar la circularidad (donde los LLM definen las ideologías que están midiendo), los autores mapean estos políticos con nueve dimensiones ideológicas codificadas por expertos del conjunto de datos V-Party. Estas dimensiones incluyen inclusión cultural, apertura a la inmigración, igualdad LGBT, posicionamiento secular, igualdad laboral de las mujeres, anti-clientelismo, pluralismo político, anti-populismo y postura económica de derecha.
   • Recolección de artículos: Los autores extrajeron 1,394 pares de artículos emparejados (Wikipedia vs. Grokipedia) para políticos que tenían entradas en ambas fuentes, cumpliendo con una longitud mínima de 300 palabras y verificando la relevancia del contenido.

2. Jueces de LLM:

   • Se emplearon cuatro LLM distintos como jueces para calificar la neutralidad: Grok-4 (el generador de Grokipedia), Claude-Opus-4.6 (entrenado para la imparcialidad política), DeepSeek-V4-Pro (un modelo no occidental) y Mistral-Medium-3.5 (un modelo europeo).
   • Prompting: Se pidió a los jueces que calificaran los artículos en una escala Likert de 5 puntos (desde "fuertemente sesgado en contra" hasta "fuertemente sesgado a favor") basándose en una definición formal de neutralidad inspirada en el principio de Punto de Vista Neutral (NPOV) de Wikipedia. Esta definición incluyó criterios como presentar los puntos de vista proporcionalmente, evitar el lenguaje de juicio y distinguir los hechos de las opiniones.
   • Robustez: Una prueba de robustez confirmó que eliminar la definición específica de neutralidad del prompt no alteró significativamente la dirección de las calificaciones.

3. Análisis:

   • Estadística descriptiva: Análisis de las distribuciones de votos y la confiabilidad inter-evaluador.
   • Análisis de regresión: Los autores emplearon regresiones de Mínimos Cuadrados Ordinarios (OLS) para estimar el efecto de las nueve dimensiones ideológicas en las calificaciones de neutralidad.
     • Modelo de Diferencial de Neutralidad: Estima la brecha en las calificaciones de neutralidad entre Wikipedia y Grokipedia ($\Delta Y$) como una función de la ideología.
     • Modelos de Fuente Individual: Regresiones separadas para cada enciclopedia para determinar cómo se correlacionan ideologías específicas con el sesgo percibido dentro de cada fuente.

Contribuciones clave

• Escala y alcance: Este es el estudio más grande que compara Grokipedia y Wikipedia hasta la fecha, analizando 1,394 pares de artículos (comparado con estudios previos de 6 o 395 pares) y examinando la totalidad de los artículos en lugar de solo las introducciones.
• Fundamentación experta: A diferencia de otros trabajos que utilizaron LLM para generar puntuaciones ideológicas, este estudio ancla el análisis en el conjunto de datos V-Party codificado por expertos, asegurando que las categorías ideológicas sean ortogonales a los juicios del LLM.
• Marco de múltiples jueces: El estudio introduce un panel de cuatro LLM con tendencias ideológicas documentadas (occidentales, no occidentales, de izquierda, de derecha, centristas) para desentrañar el sesgo del evaluador del sesgo del contenido.
• Especificidad de la versión: El estudio analiza la versión 0.2 de Grokipedia, señalando diferencias significativas en la longitud y el contenido respecto a la versión V0.1 utilizada en investigaciones previas.

Resultos

• Sesgo general: Los cuatro jueces de LLM calificaron a Grokipedia con mayor presencia de sesgo que Wikipedia. Grokipedia tuvo una mayor proporción de artículos calificados como sesgados (39% frente al 29.7% de Wikipedia).
• Dirección del sesgo:
  • Grokipedia: Fue calificada como favorablemente sesgada hacia políticos económicamente de derecha y aquellos que apoyan el pluralismo político. Por el contrario, fue calificada como penalizadora (menos neutral) hacia políticos con posturas socialmente liberales, específicamente respecto a los derechos LGBT y los derechos laborales de las mujeres.
  • Wikipedia: Fue calificada como más neutral en general, pero mostró una tendencia hacia el sesgo favorable para políticos con posturas socialmente liberales (derechos LGBT y de las mujeres).
• Influencia del evaluador:
  • Los jueces de LLM variaron significativamente en su rigor. DeepSeek fue el más permisivo (86.9% de calificaciones neutrales), mientras que Claude fue el más estricto (25% de calificaciones neutrales).
  • A pesar de las diferencias en el rigor, los jueces coincidieron mayoritariamente en la dirección del sesgo.
  • Hallazgo crucial: Incluso Grok, el modelo que generó Grokipedia, calificó a Grokipedia como menos neutral que Wikipedia. Esto sugiere que los patrones ideológicos son intrínsecos al contenido generado y no un artefacto del sesgo del evaluador.

Significancia y afirmaciones
El artículo afirma que la elección de la enciclopedia afecta significativamente la percepción de los políticos basándose en sus perfiles ideológicos más que solo en sus biografías. Los hallazgos desafían la noción de que las enciclopedias generadas por LLM son inherentemente más neutrales; en cambio, parecen incorporar estructuras ideológicas sistemáticas, potencialmente favoreciendo la derecha económica y las normas democráticas mientras penalizan el liberalismo social.

El estudio enfatiza que:

1. El contenido generado por LLM no es inmune al sesgo: Grokipedia exhibe sesgos ideológicos distintos que difieren de los de Wikipedia.
2. La diversidad de evaluadores es crítica: Depender de un único juez de LLM (especialmente uno con una inclinación ideológica específica como Grok o DeepSeek) podría subestimar la magnitud de las brechas de sesgo.
3. La auditoría es necesaria: Dado que los gobiernos y las corporaciones pueden generar bases de conocimiento rápidamente, los métodos para auditar su posicionamiento ideológico a escala son vitales para la integridad de los ecosistemas de información pública.

Los autores mantienen la modestia, reconociendo que su medida de sesgo es condicional a su operacionalización específica de la neutralidad y a las limitaciones de usar LLM como jueces (por ejemplo, posibles sesgos de identidad). No pretenden haber descubierto la verdad absoluta, sino que han identificado patrones sistemáticos en cómo estas dos enciclopedias retratan a las figuras políticas.