Resumen Técnico: Los genéricos en la comunicación científica

Planteamiento del problema

Los científicos emplean frecuentemente genéricos —enunciados en tiempo presente no cuantificados que se refieren a categorías enteras (p. ej., "las estatinas reducen los eventos cardiovasculares")— al comunicar sus hallazgos de investigación. Aunque estos enunciados sugieren una aplicabilidad amplia, los análisis de corpus indican que se utilizan incluso cuando los hallazgos se basan en muestras pequeñas o no representativas. Esto crea un riesgo de sobregeneralización, donde las audiencias aplican los hallazgos a poblaciones para las cuales no son aplicables, lo que potencialmente socava la confianza pública y la toma de decisiones.

Existe una brecha crítica en la comprensión de cómo diferentes partes interesadas interpretan estas formas lingüísticas. No está claro si los profanos (el público general) y los expertos científicos comparten la misma interpretación de los genéricos, o si los expertos poseen una "vigilancia epistémica" que les lleva a interpretar estas afirmaciones de manera más restrictiva que el público. Además, con la creciente dependencia de los Modelos de Lenguaje de Gran Escala (LLM) como ChatGPT para resumir la literatura científica, se desconoce si estos modelos interpretan los genéricos de manera similar a los humanos. Si los LLM sobregeneralizan sistemáticamente los hallazgos científicos en comparación con los expertos humanos, corren el riesgo de difundir resúmenes engañosos a gran escala.

Metodología

El estudio empleó un diseño de métodos mixtos comparando tres grupos distintos: profanos (individuos con, como máximo, un título de grado universitario), expertos científicos (psicólogos e investigadores biomédicos, además de otros científicos/expertos) y dos LLM líderes (ChatGPT-5 y DeepSeek-V3.1).

Diseño experimental

• Estímulos: Los participantes fueron presentados con 18 conclusiones de investigación de una sola oración extraídas de las principales revistas de psicología y biomedicina.
• Marcos lingüísticos: Cada conclusión se presentó en tres variaciones:
  1. Genérico desnudo: Tiempo presente no cuantificado (p. ej., "Las estatinas reducen el riesgo...").
  2. Tiempo pasado: Tratado como una afirmación no genérica y específica (p. ej., "Las estatinas redujeron el riesgo...").
  3. Matizado (Hedged): Calificado con incertidumbre epistémica (p. ej., "El estudio sugiere..." o "podría...").
• Medidas: Los participantes calificaron cada enunciado en tres dimensiones utilizando escalas de 5 puntos:
  • Generalizabilidad: Qué tan ampliamente se aplica la afirmación (desde "solo a las personas estudiadas" hasta "todas las personas").
  • Credibilidad: Qué tan confiable es la afirmación.
  • Impacto: La probabilidad de interactuar más con el hallazgo (leer, compartir, usar).
• Procedimiento:
  • Participantes humanos: 432 participantes (192 profanos, 240 expertos) completaron la encuesta a través de Qualtrics.
  • Participantes LLM: Se recolectaron 100 respuestas (50 por modelo) a través de interfaces de usuario web para simular interacciones públicas típicas. Cada modelo fue tratado como un "pseudo-participante".
• Componente cualitativo: Una pregunta de respuesta libre pidió a los participantes seleccionar el marco más apropiado para un hallazgo estadísticamente significativo y explicar su razonamiento.
• Análisis: Se utilizaron modelos mixtos lineales (LMM) para analizar las calificaciones, controlando el participante y el contenido de la conclusión. Se aplicó el análisis temático a las respuestas cualitativas.

Resultados clave

1. Efectos del encuadre lingüístico

En todos los grupos, los genéricos desnudos fueron percibidos como significativamente más generalizables y más impactantes que las versiones en tiempo pasado o matizadas. Sin embargo, surgió un hallazgo contraintuitivo respecto a la credibilidad: los enunciados en tiempo pasado fueron calificados como más creíbles que los genéricos, mientras que los enunciados matizados recibieron las calificaciones de credibilidad más bajas.

2. Diferencias de grupo (Profanos vs. Expertos vs. LLM)

• Profanos vs. Expertos: Contrario a la hipótesis de que los profanos interpretarían las afirmaciones de manera más amplia, los psicólogos e investigadores biomédicos calificaron las conclusiones científicas como menos generalizables, menos creíbles y menos impactantes que los profanos. Esto sugiere que la experiencia en el campo fomenta una mayor vigilancia epistémica y cautela respecto a la sobregeneralización.
• LLM vs. Humanos: Ambos LLM (ChatGPT-5 y DeepSeek-V3.1) calificaron las conclusiones científicas como significativamente más generalizables, creíbles e impactantes que tanto los profanos como los expertos. Esto indica una tendencia sistemática de estos modelos a sobrevalorar la fuerza y el alcance de las afirmaciones científicas.
• Efectos de interacción: Los expertos (específicamente psicólogos e investigadores biomédicos) mostraron una mayor sensibilidad al encuadre lingüístico que los profanos. Los expertos degradaron los genéricos significativamente más que los profanos al pasar a marcos de tiempo pasado o matizados. Los LLM, por el contrario, mostraron un ajuste al alza en las calificaciones de generalizabilidad al pasar de genéricos a tiempo pasado, divergiendo de los patrones humanos.

3. Preferencias cualitativas

• Preferencias humanas: El 64% de los participantes humanos prefirió el encuadre "el estudio sugiere", valorando un equilibrio entre la confianza y la cautela. Criticaron frecuentemente los genéricos desnudos por ser "excesivamente confiados" y "sobregeneralizadores".
• Preferencias de los LLM: ChatGPT-5 favoreció fuertemente los genéricos desnudos (52%), citando la "confianza" y la "facilidad de interpretación" para no expertos. DeepSeek-V3.1 se alineó más con las preferencias humanas, favoreciendo el "el estudio sugiere".
• Razonamiento: Los humanos enfatizaron evitar los extremos y relativizar los hallazgos al estudio específico. Los LLM priorizaron la claridad y la aplicabilidad amplia, a menudo a expensas de la cautela que los humanos consideraban necesaria.

Contribuciones clave

1. Evidencia empírica de desalineación: El estudio proporciona la primera comparación directa de cómo los profanos, los expertos de dominio y los LLM interpretan los genéricos científicos. Revela una "doble desalineación": los expertos interpretan los genéricos de manera más estrecha que el público, mientras que los LLM los interpretan de manera aún más amplia que el público.
2. Efectos de la experiencia: Los hallazgos desafían la noción de que todos los expertos interpretan el lenguaje de manera similar. La experiencia específica en el campo (psicología y biomedicina) impulsa una interpretación más cautelosa de los genéricos, probablemente debido a la conciencia de las crisis de replicación y las limitaciones metodológicas, mientras que los expertos en otros campos no difirieron significativamente de los profanos.
3. Comportamiento de los LLM en la comunicación científica: El artículo demuestra que los principales LLM sobregeneralizan sistemáticamente los hallazgos científicos. Esto sugiere que los LLM no solo resumen el texto, sino que amplifican activamente el alcance y la credibilidad percibidos de las afirmaciones, divergiendo potencialmente de la intención de los autores originales.
4. Matices del encuadre: El estudio destaca que no todas las calificaciones funcionan de la misma manera. Mientras que el "tiempo pasado" mejoró la credibilidad, el "matiz" (p. ej., "podría") redujo tanto la credibilidad como el impacto, lo que sugiere que el tipo de calificación importa significativamente para la comprensión pública.

Significado e implicaciones

Los autores argumentan que estas desalineaciones interpretativas plantean riesgos significativos para la comunicación científica.

• Para los científicos: Los expertos pueden fomentar inadvertidamente la sobregeneralización al usar genéricos, asumiendo que su audiencia comparte su interpretación matizada y cautelosa. Los datos sugieren que incluso el encuadre en tiempo pasado puede no prevenir totalmente la sobregeneralización de los profanos.
• Para los LLM: Si los LLM se utilizan para resumir investigaciones para el público, su tendencia a calificar los genéricos como altamente creíbles y ampliamente aplicables podría llevar a la difusión sistemática de afirmaciones científicas infladas. Esto es particularmente preocupante dado que los LLM carecen de la "vigilancia epistémica" o el escepticismo de dominio que aplican los expertos humanos.
• Para la política y la educación: Los hallazgos subrayan la necesidad de prestar mayor atención a las elecciones de lenguaje tanto en la comunicación científica mediada por humanos como por IA. Es necesario alinear las percepciones de los expertos y del público, y monitorear cómo los LLM manejan las afirmaciones genéricas para evitar la normalización de la sobregeneralización.

El artículo concluye que, si bien los genéricos son retóricamente eficientes para los científicos, su uso requiere una calibración cuidadosa para asegurar la transmisión precisa de la incertidumbre científica a diversas audiencias, incluyendo los sistemas de IA.