Resumen Técnico: Cómo la Temperatura Moldea el Discurso Ideológico en la Generación Aumentada por Recuperación

Planteamiento del Problema

Si bien la Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) se adopta ampliamente para mitigar las alucinaciones y mejorar el fundamento fáctico de los Modelos de Lenguaje Extensos (LLM), el impacto del sesgo ideológico dentro de los documentos recuperados sobre los resultados de los LLM sigue siendo poco explorado. Las investigaciones existentes han abordado las imprecisiones fácticas en la recuperación, pero han pasado por alto en gran medida cómo los marcos de RAG podrían transmitir, amplificar o suprimir los discursos ideológicos presentes en las fuentes de conocimiento externas. Esto es particularmente crítico en dominios de alto riesgo como la atención médica, donde cambios sutiles en la redacción pueden reconfigurar la interpretación de tratamientos y riesgos. Además, el papel de la temperatura de muestreo —un parámetro que controla la aleatoriedad de la generación de tokens— en la modulación de esta transferencia ideológica dentro de los sistemas RAG ha recibido una atención limitada.

Metodología

Construcción del Corpus e Identificación Ideológica

El estudio utilizó un corpus específico de dominio de 1,117 artículos científicos relativos a tratamientos contra el COVID-19 publicados entre 2020 y 2022. El corpus se dividió en dos subcorpus:

1. Controvertido: 116 textos que promueven tratamientos no aprobados por agencias de salud oficiales (p. ej., hidroxicloroquina, ivermectina).
2. Avalado: 991 textos alineados con los estándares internacionales de ciencia y salud.

Para identificar los discursos ideológicos latentes, los autores aplicaron el Análisis Multidimensional Léxico (LMDA). Este método extiende el Análisis Multidimensional de Biber mediante el uso de análisis factorial sobre las coocurrencias de palabras (colocaciones) para descubrir dimensiones derivadas estadísticamente.

• Preprocesamiento: Se extrajeron colocaciones clave utilizando puntuaciones Log-Dice ($D \ge 7$) dentro de un intervalo de cuatro palabras.
• Análisis Factorial: Se computó una matriz de correlación tetracórica, seguida de un análisis factorial. Se seleccionaron tres dimensiones primarias basadas en solapamientos claros entre los polos dimensionales y los subconjuntos de texto (Controvertido vs. Avalado).
• Microanálisis: El análisis cualitativo de los textos en los extremos de estas dimensiones permitió el etiquetado de orientaciones discursivas (p. ej., promocional vs. basado en evidencia).

Configuración Experimental

El estudio evaluó la propagación de estos discursos identificados en las respuestas de los LLM bajo diversas condiciones:

• Modelos: Se probaron cuatro LLM: GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 y Qwen2.5.
• Condiciones de Generación:
  • Solo LLM: Los modelos respondieron sin contexto externo.
  • RAG: Los modelos respondieron utilizando el contexto recuperado del corpus ideológico.
• Estrategias de Prompting:
  • Regular: Prompts estándar con o sin contexto recuperado.
  • Mejorado: Los prompts incluyeron explícitamente metadatos de LMDA (etiquetas de dimensión, descripciones, vocabulario típico y ejemplos de texto) para guiar al modelo hacia marcos ideológicos específicos.
  • Prompt Negativo: Una condición específica donde se instruyó explícitamente a los modelos para evitar reflejar los metadatos ideológicos proporcionados.
• Temperaturas de Muestreo: Los experimentos se realizaron a través de cinco temperaturas: 0.1, 0.3, 0.5, 0.7 y 0.9.

Métricas de Evaluación

La alineación ideológica se midió utilizando tres enfoques de similitud frente a textos ideológicos de referencia:

1. Similitud Semántica: Similitud de coseno de promedios de embeddings tipo BERT.
2. Similitud Léxica: Similitud de coseno de vectores TF-IDF.
3. Similitud Híbrida: Una concatenación de vectores semánticos y léxicos.

Otras métricas estructurales incluyeron la Relación Tipo-Token (TTR) para la diversidad léxica, la Entropía Media de Tokens para la incertidumbre de generación y la Longitud de Salida.

Resultados Clave

1. Impacto de RAG y Prompting en la Alineación

• Superioridad de RAG: En todas las temperaturas y métricas, las configuraciones basadas en RAG lograron una mayor alineación ideológica que la generación de solo LLM.
• Prompting Mejorado: La combinación de RAG con prompting mejorado (metadatos ideológicos explícitos) produjo los puntajes de alineación más altos, lo que sugiere que las señales explícitas en el prompt son más efectivas cuando se refuerzan con el contexto ideológico recuperado.
• Limitaciones de Solo LLM: Sin el fundamento de la recuperación, incluso el prompting mejorado no logró mejorar significativamente la alineación, indicando que el conocimiento externo es crucial para una transferencia ideológica consistente.

2. El Papel de la Temperatura de Muestreo

El efecto de la temperatura en la alineación del discurso dependió altamente de la configuración del sistema:

• RAG con Prompting Mejorado: La alineación fue menor en la configuración más determinante ($T=0.1$), aumentó hasta un máximo en una temperatura moderada ($T=0.5$) y se estabilizó a medida que la temperatura aumentaba. Esto sugiere que un equilibrio entre estocasticidad y fundamento de recuperación es óptimo.
• RAG con Prompting Regular: Mostró un aumento gradual y monotónico en la alineación a medida que la temperatura subía, alcanzando su pico en $T=0.9$. La evidencia recuperada parece restringir la generación lo suficiente como para permitir una mayor diversidad sin degradar la alineación.
• Solo LLM: Exhibió un patrón de "ascenso y caída". La alineación aumentó de $T=0.1$ a $T=0.3$, pero luego declinó y se estabilizó en temperaturas más altas. Esto indica que, sin el apoyo de la recuperación, la aleatoriedad excesiva introduce una variabilidad que el modelo no puede controlar, reduciendo la coherencia ideológica.

3. Hallazgos Específicos de los Modelos

• Qwen2.5 demostró consistentemente los puntajes de alineación más altos en todas las métricas y temperaturas, sugiriendo una mayor susceptibilidad a la influencia ideológica.
• GPT-4o-mini mostró los puntajes de alineación más bajos y la menor variación entre temperaturas, lo que implica que los modelos más grandes con más conocimiento de mundo codificado pueden ser más resistentes al encuadre ideológico externo.

4. Métricas Estructurales

• Diversidad Léxica (TTR): Los resultados de solo LLM mostraron consistentemente una mayor diversidad léxica que los resultados de RAG. La temperatura tuvo un impacto mínimo en el TTR dentro del entorno RAG.
• Entropía: La entropía media aumentó modestamente con la temperatura para ambos entornos, confirmando una mayor aleatoriedad en la selección de tokens.
• Longitud de Salida: Los resultados de RAG fueron significativamente más largos que los de solo LLM. La longitud de RAG aumentó gradualmente con la temperatura, mientras que la longitud de solo LLM se mantuvo relativamente estable.

5. Prompting Negativo

Cuando se instruyó explícitamente a los modelos para evitar la alineación ideológica (Prompt Negativo), los puntajes de alineación disminuyeron significamente en comparación con los entornos regulares. La métrica léxica mostró la mayor reducción, indicando que la elección de palabras es altamente sensible a la polaridad del prompt, mientras que las estructuras semánticas fueron más resistentes.

Significancia y Contribuciones

El artículo realiza dos contribuciones principales:

1. Definición Formal de Dimensiones Ideológicas: Establece un conjunto de dimensiones ideológicas derivadas de conocimiento externo (vía LMDA) que permite la evaluación cuantitativa de la alineación de la respuesta de los LLM con una ideología específica.
2. Caracterización de la Propagación Ideológica: Investiga cómo los discursos ideológicos se propagan desde el conocimiento externo de RAG hacia los resultados de los LLM bajo diferentes temperaturas de muestreo.

Conclusiones Clave:
El estudio concluye que, si bien la temperatura de muestreo impacta significativamente el discurso, su efecto está moderado estructuralmente por el diseño del sistema. En los sistemas RAG, el fundamento de la recuperación restringe la deriva ideológica impulsada por la temperatura, haciendo que la alineación sea más estable a través de las temperaturas en comparación con los sistemas de solo LLM. La transferencia ideológica en sistemas fundamentados surge de la interacción entre la estocasticidad del decodificador, el prompting basado en metadatos y las restricciones de recuperación, más que de la temperatura por sí sola.

Limitaciones:
Los autores señalan que los hallazgos son específicos del contexto del discurso del COVID-19 (2020–2022), un período caracterizado por una urgencia y polarización agudas. La generalizabilidad a dominios no médicos (p. ej., cambio climático) permanece sin verificar. Además, la dependencia de métricas de similitud automatizadas sugiere la necesidad de futuras evaluaciones humanas para corroborar los hallazgos.