💬 NLP

What Is The Political Content in LLMs' Pre- and Post-Training Data?

Este estudio demuestra que los sesgos políticos en los modelos de lenguaje grandes surgen principalmente de la composición de sus datos de entrenamiento, los cuales están sistemáticamente inclinados hacia posturas de izquierda y mantienen esa alineación a través de las etapas de pre-entrenamiento y post-entrenamiento.

Autores originales: Tanise Ceron, Dmitry Nikolaev, Dominik Stammbach, Debora Nozza

Publicado 2026-04-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tanise Ceron, Dmitry Nikolaev, Dominik Stammbach, Debora Nozza

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que las Inteligencias Artificiales (IA) que chatean con nosotros, como los grandes modelos de lenguaje (LLM), son como cocineros novatos que acaban de terminar sus estudios en la universidad.

Este artículo es como un examen forense de la despensa de esos cocineros. Los autores se preguntaron: "¿Por qué estos cocineros siempre ponen un poco de sal extra en la comida? ¿Es que les gusta la sal, o es que la despensa donde aprendieron a cocinar solo tenía sal?"

Aquí tienes la explicación de sus hallazgos, traducida a un lenguaje sencillo y con algunas analogías:

1. El Problema: Los cocineros tienen "gustos" políticos

Todos notamos que cuando le pides a una IA que opine sobre política, a veces parece tener una opinión muy definida (generalmente de "izquierda" o progresista). Pero nadie sabía exactamente de dónde venía ese gusto. ¿Es que la IA "piensa" así? ¿O es un defecto de fábrica?

2. La Investigación: Revisando la despensa (Los datos)

Los investigadores decidieron no mirar solo lo que cocinaban los modelos (sus respuestas), sino mirar los ingredientes con los que fueron entrenados. Analizaron tres grandes cocinas (modelos de código abierto: OLMO2, Falcon y Pythia) y revisaron dos tipos de ingredientes:

Pre-entrenamiento: La comida cruda y masiva que comieron cuando eran bebés (internet entero, blogs, noticias).
Post-entrenamiento: Las clases de cocina especializadas que tomaron para aprender a ser "buenos" y obedientes (respuestas humanas, correcciones).

3. Los Hallazgos Principales (Lo que encontraron en la despensa)

A. La despensa estaba desequilibrada (Más "izquierda" que "derecha")

Imagina que la despensa de la IA estaba llena de libros y artículos. Los investigadores encontraron que, por cada 1 libro de "derecha" (conservador), había entre 2 y 12 libros de "izquierda" (progresista).

La analogía: Es como si un chef aprendiera a cocinar en una cocina donde el 90% de los libros de recetas fueran de un solo tipo de comida. No es de extrañar que el chef cocine todo con ese sabor.
Dato curioso: Los ingredientes "crudos" (pre-entrenamiento) tenían mucha más comida política que los ingredientes "finos" (post-entrenamiento).

B. ¿Dónde venía la comida? (El origen de los ingredientes)

La "Izquierda" venía principalmente de periódicos famosos y establecidos (como The Guardian o The New York Times). Eran ingredientes "oficiales".
La "Derecha" venía mayormente de blogs personales, foros de internet y sitios más pequeños. Eran ingredientes más caseros y dispersos.
La sorpresa: Aunque cada modelo de IA tenía su propia receta de cómo mezclar los ingredientes, todos terminaron con el mismo sabor político. Esto significa que da igual cómo mezcles los ingredientes si la base ya está desequilibrada; el resultado final será similar.

C. El sabor se pega (Correlación)

Los investigadores probaron si el sabor de la comida en la despensa se parecía al sabor de los platos que servía el chef.

Resultado: ¡Sí! Hubo una correlación enorme (casi perfecta). Si en la despensa había muchos textos a favor de "ayuda social", el modelo también apoyaba la ayuda social. Si había textos en contra de "inmigración", el modelo también se oponía.
La moraleja: La IA no "piensa" por sí misma; refleja lo que leyó. Es un espejo de los datos con los que fue alimentada.

D. El sabor se fija al principio

Un hallazgo muy importante: El "sabor político" ya estaba presente cuando el modelo era un "bebé" (antes de las clases de obediencia). Las clases posteriores (post-entrenamiento) no cambiaron el sabor fundamental, solo hicieron que el modelo hablara de forma más educada y consistente.

Analogía: Es como si un niño aprendiera a hablar con un acento específico en su casa. Cuando va a la escuela (post-entrenamiento), aprende a hablar mejor y a usar palabras más formales, pero su acento de origen sigue ahí.

4. ¿Por qué importa esto? (El mensaje final)

El paper concluye que no podemos arreglar el sesgo político simplemente "educando" mejor a la IA (con más clases de obediencia). El problema está en la materia prima.

El riesgo: Si usamos estas IAs para informarnos sobre elecciones o noticias, podríamos estar recibiendo una visión del mundo que no es equilibrada, sino que está sesgada hacia un lado, sin que nos demos cuenta.
La solución propuesta: Necesitamos transparencia. Las empresas que crean estas IAs deberían decirnos exactamente qué ingredientes pusieron en la despensa. Si queremos cocinas más justas, necesitamos mezclar mejor los ingredientes desde el principio, no solo intentar corregir el plato al final.

En resumen:
Las IAs no son neutrales por defecto. Son como estudiantes que han leído miles de libros, pero la mayoría de esos libros tenían una opinión específica. Para que la IA sea imparcial, no basta con pedirle que sea "justa"; hay que asegurarse de que lea libros de todos los bandos desde el primer día.

1. Problema y Motivación

Los Grandes Modelos de Lenguaje (LLMs) son conocidos por generar texto con sesgos políticos sistemáticos, a menudo alineándose con perspectivas de izquierda o libertarias. Sin embargo, la origen de estos sesgos sigue siendo poco claro. La investigación previa se ha centrado principalmente en un enfoque "centrado en el modelo" (evaluar las salidas), lo que dificulta diseñar estrategias de mitigación efectivas porque no identifica las fuentes de los sesgos en los datos de entrenamiento.

El artículo plantea la hipótesis de que estos sesgos están arraigados en la composición de los datos de entrenamiento. El objetivo es analizar el contenido político en las etapas de pre-entrenamiento y post-entrenamiento de LLMs de código abierto para entender cómo la distribución de datos influye en el comportamiento del modelo.

2. Metodología

Los autores adoptan una perspectiva centrada en los datos, analizando modelos de código abierto (OLMO2, FALCON2, PYTHIA) y sus conjuntos de datos asociados.

Selección de Modelos y Datos: Se eligieron modelos con superposición mínima en sus datos de entrenamiento para asegurar la independencia de las muestras. Se analizaron:
- Pre-entrenamiento: DOLMA, DOLMINO (OLMO2), REFINEDWEB (FALCON2), THE PILE (PYTHIA).
- Post-entrenamiento: SFT-MIX (Ajuste Fino Supervisado) y DPO-MIX (Optimización de Preferencia Directa).
Muestreo: Debido a la imposibilidad de procesar terabytes de datos, se utilizó el algoritmo de muestreo por reservorio para extraer muestras representativas (entre 100k y 300k documentos por conjunto).
Clasificación Política:
- Se desarrolló un pipeline de clasificación de tres vías: Izquierda, Derecha y Neutral.
- Se utilizó un modelo zero-shot (LLaMA-3.1-70B-Instruct) para clasificar documentos.
- La validación se realizó sobre el conjunto de datos NEWSLEAN (artículos de noticias de EE. UU.), logrando una precisión de 0.72 para derecha y 0.65 para izquierda, con una tasa de error direccional baja.
Análisis de Temas (Topic Modeling): Se utilizó BERTopic para agrupar documentos y GPT-5 para resumir los mensajes principales de los clusters, identificando diferencias en el encuadre (framing) de temas como cambio climático, derechos animales y religión.
Detección de Posturas (Stance Detection):
- Se utilizó el conjunto de datos ProbVAA (239 declaraciones sobre políticas europeas) para evaluar las posturas de los modelos.
- Se midió la postura del modelo ( $S$ ) y la postura de los documentos de entrenamiento ( $S_{pol}$ ) mediante fórmulas de proporción de acuerdo/desacuerdo.
- Se calculó la correlación de Pearson entre las posturas en los datos y las salidas del modelo.

3. Contribuciones Clave

Análisis Sistemático: Primera evaluación exhaustiva del contenido político en conjuntos de datos de pre- y post-entrenamiento de múltiples modelos de código abierto.
Cuantificación del Desequilibrio: Demostración de que el contenido de izquierda domina consistentemente sobre el de derecha en todos los conjuntos de datos analizados.
Similitud entre Corpora: Evidencia de que, a pesar de diferentes estrategias de curación y fuentes de datos, los conjuntos de pre-entrenamiento exhiben distribuciones políticas altamente similares.
Correlación Datos-Modelo: Establecimiento de una fuerte correlación estadística entre los sesgos en los datos de entrenamiento y el comportamiento del modelo.
Persistencia del Sesgo: Confirmación de que los sesgos políticos están presentes en los modelos base (pre-entrenamiento) y persisten a través de las etapas de post-entrenamiento.

4. Resultados Principales

Desequilibrio de Datos (R1):
- Los documentos de izquierda superan a los de derecha en todos los conjuntos de datos, con ratios que varían de 2.3 a 12 veces.
- Los datos de pre-entrenamiento contienen 2.5 a 4 veces más contenido políticamente comprometido que los datos de post-entrenamiento.
- En el post-entrenamiento (SFT y DPO), la proporción de contenido político es muy baja, pero el sesgo de izquierda sigue siendo dominante (ej. en SFT-MIX, hay 12.5 veces más contenido de izquierda que de derecha).
Fuentes y Dominios (R2):
- Los datos de pre-entrenamiento provienen principalmente de blogs (BlogSpot, WordPress).
- Diferencias en fuentes: Los documentos de derecha provienen más frecuentemente de blogs y comunidades en línea (ej. FreeRepublic), mientras que los de izquierda provienen más de medios de noticias establecidos (The Guardian, HuffPost, NYT).
- Similitud entre corpora: A pesar de las diferencias en las fuentes, las distribuciones políticas agregadas son muy similares entre diferentes familias de modelos (correlación RBO alta), lo que sugiere que las estrategias de filtrado tienen un impacto limitado en las propiedades políticas agregadas.
Encuadre de Mensajes:
- Aunque abordan temas similares, el encuadre difiere. Por ejemplo, en Clima, la derecha enfatiza la estabilidad económica y la soberanía, mientras que la izquierda enfatiza la urgencia científica y la transformación sistémica. En Derechos Animales, la derecha habla de responsabilidad personal, mientras que la izquierda se enfoca en daños estructurales y sufrimiento.
Correlación Datos-Modelo (R3):
- Existe una fuerte correlación (r = 0.87, p < 0.05) entre las posturas políticas presentes en los datos de entrenamiento y las expresadas por los modelos en diversos temas de política.
- Los modelos base (pre-entrenamiento) ya muestran una dirección de sesgo clara, y los modelos post-entrenados (SFT, DPO) mantienen esta dirección, aunque con mayor consistencia en las respuestas.
Persistencia del Sesgo (R4):
- Los sesgos políticos se establecen principalmente durante el pre-entrenamiento. Las etapas de post-entrenamiento (SFT y DPO) no alteran fundamentalmente la dirección del sesgo, sino que refinan la consistencia de las respuestas, a pesar de tener menos contenido político explícito.

5. Significado e Implicaciones

Transparencia de Datos: El estudio subraya que la composición de los datos es el factor central que moldea el comportamiento político de los LLMs. Esto exige una mayor transparencia en la documentación de las fuentes de datos de pre-entrenamiento.
Mitigación de Sesgos: Dado que el sesgo se establece en el pre-entrenamiento, las estrategias de mitigación que solo se centran en el post-entrenamiento (como el ajuste fino o la alineación) pueden ser insuficientes. Se sugiere que la pre-filtración de datos o la eliminación de contenido altamente politizado en la etapa de pre-entrenamiento podría ser una solución más efectiva.
Impacto Social: La dependencia de los usuarios en LLMs para información política, combinada con un sesgo sistémico hacia la izquierda, puede influir en la toma de decisiones, polarizar la opinión pública y subrepresentar ciertas perspectivas políticas.
Política y Regulación: Los hallazgos apoyan la necesidad de marcos regulatorios que exijan a los proveedores de IA detallar las fuentes de sus datos y las decisiones de curación, facilitando la auditoría y la responsabilidad (accountability) en el desarrollo de sistemas de IA.

En conclusión, el artículo demuestra que los LLMs no son neutralmente "aprendices" de internet, sino que heredan y amplifican los desequilibrios políticos inherentes a sus corpus de entrenamiento, los cuales se originan en la estructura misma de los datos web disponibles y se consolidan desde la etapa inicial de pre-entrenamiento.