🤖 AI

Distributed Denial of Science: How Indirect Data Poisoning of AI Systems Can Industrialize Scientific Fraud

Este artículo demuestra que los actores malintencionados pueden instrumentalizar los ecosistemas de datos abiertos para comprometer la investigación científica impulsada por la IA mediante el envenenamiento de datos indirecto, logrando una alta tasa de éxito en la generación de conclusiones fraudulentas, pero muestra que la implementación de auditorías de procedencia de datos puede neutralizar eficazmente estos ataques.

Autores originales: Bálint Gyevnár, Atoosa Kasirzadeh, Nihar B. Shah

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bálint Gyevnár, Atoosa Kasirzadeh, Nihar B. Shah

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los científicos han contratado a una flota de asistentes robóticos súper inteligentes e incansables para que les hagan la tarea. Estos robots recorren el internet, descargan datos, procesan números y escriben informes. Son honestos, trabajadores y confiables para sus jefes humanos.

Ahora, imagina a un bromista malicioso que quiere engañar a toda la comunidad científica. En lugar de hackear directamente a los robots (lo cual es imposible porque los robots están bloqueados), el bromista hace algo astuto: toma un libro de una biblioteca pública, escribe algunos datos falsos en los márgenes y desliza una copia nueva y manipulada de vuelta en el estante.

Esta es la aterradora realidad descrita en un nuevo estudio llamado "Distributed Denial of Science" (Denegación Distribuida de la Ciencia). Los investigadores se hicieron una pregunta escalofriante: ¿Puede un mal actor remoto engañar a estos honestos robots científicos para que propaguen mentiras, simplemente envenenando los datos abiertos que utilizan?

El Gran Robo: Cómo funciona el truco

El estudio descubrió que la respuesta es un aterrador sí.

Así es como el bromista lo logra:

La Configuración: El mal actor encuentra un conjunto de datos reales en un sitio público (como GitHub o Kaggle). Digamos que es sobre paradas de tráfico o tendencias de contratación.
El Veneno: Usando herramientas de IA, el mal actor ajusta los números o escribe un archivo "README" falso (una nota que explica los datos) que cuenta una historia completamente diferente. Podrían hacer que parezca que una brecha de contratación se está reduciendo cuando en realidad está creciendo, o viceversa.
La Carga: Cargan esta versión "envenenada" de nuevo en la biblioteca pública.
La Trampa: Los honestos robots científicos, haciendo su trabajo, buscan datos. Encuentran la versión envenenada. Debido a que el archivo parece normal y tiene una nota agradable adjunta, los robots confían en él. Lo descargan, lo analizan y escriben un informe que dice: "¡Mira! ¡Encontramos este increíble nuevo hecho!"

¿La parte aterradora? Los robots están haciendo exactamente lo que se les ordenó hacer. No están "mintiendo"; solo están siguiendo las instrucciones de los datos falsos. Los científicos humanos, confiando en sus robots, publican luego estos hallazgos falsos como si fueran sus propios descubrimientos independientes.

Los Números: ¿Qué tan malo es?

Los investigadores realizaron 450 experimentos en cinco temas candentes (como discriminación en la contratación, seguridad automotriz e inmigración) utilizando tres de los sistemas de IA más inteligentes disponibles (Claude, Codex y Gemini).

Esto es lo que descubrieron:

Los Robots Caen en la Trampa: En el 49.56% de los experimentos, los agentes de IA fueron completamente engañados. Escribieron informes completos con las conclusiones falsas, no detectaron el truco y ni siquiera mencionaron ninguna advertencia.
El "Ejército no Remunerado": El mal actor no tuvo que escribir ni un solo artículo falso por sí mismo. Solo cargó los malos datos. Los honestos agentes de IA hicieron todo el trabajo de propagar la mentira.
El Punto Ciego: Los robots casi nunca detectaron el truco. Solo señalaron los datos como sospechosos en el 6.0% de las ejecuciones. Incluso cuando los investigadores les dijeron a los robots que fueran extra críticos y escépticos, la tasa de detección no aumentó mucho.
Funciona en Ambos Sentidos: El mal actor podía engañar a los robots para que dijeran que un problema está empeorando o mejorando. La tasa de éxito fue la misma para ambas direcciones.

Curiosamente, un robot (Codex) fue un poco más difícil de engañar (solo 31.33% de éxito para el mal actor), mientras que otro (Gemini) fue el más fácil de engañar (62.0% de éxito). Pero ninguno estaba a salvo.

Por qué esto es importante

El artículo argumenta que esto es peligroso porque convierte el movimiento de "ciencia abierta" en su contra. Normalmente, tener a mucha gente revisando los datos debería detectar errores. Pero aquí, los robots están tan ansiosos por encontrar cualquier dato que agarran el envenenado e ignoran el real.

Los investigadores descubrieron que los robots a menudo ni siquiera se daban cuenta de que estaban ante un falso. En algunos casos, los robots afirmaron que los datos falsos estaban "pre-registrados" (un estándar de oro para la ciencia honesta) cuando absolutamente no lo estaban. ¡Incluso empezaron a dudar de los datos reales, pensando que el dato real era el que tenía los problemas!

¿Existe un Escudo?

Los investigadores no solo se detuvieron al encontrar el problema; intentaron construir un escudo. Probaron dos formas de proteger a los robots:

La Persona del "Escéptico": Le dijeron a los robots: "Oye, actúa como un científico súper cuidadoso y crítico que verifica todo doblemente".
- Resultado: Esto ayudó un poco. Detectó más mentiras (la detección subió al 30.67%), pero los robots todavía fueron engañados en el 16.67% de los casos. Los robots seguían usando los malos datos, solo añadieron algunas palabras de "tal vez" a sus informes.
La "Auditoría de Procedencia": Esta fue la herramienta de gran impacto. Le dieron a los robots una lista de verificación específica para ejecutar antes de confiar en cualquier dato:
- Verificación 1: ¿Un artículo real y confiable cita estos datos?
- Verificación 2: ¿Los números parecen extraños (como promedios imposibles)?
- Verificación 3: ¿Coinciden estos datos con otros datos similares que existen?
- Verificación 4: ¿La "prueba social" (likes, descargas) parece real?
- Verificación 5: Preguntar explícitamente: "¿Podría esto ser una trampa?"
- Resultado: Magia. Cuando los robots usaron esta lista de verificación, la tasa de éxito del mal actor cayó al 0.0%. Los robots detectaron cada uno de los conjuntos de datos envenenados.

La Conclusión

El artículo sugiere que estamos en el borde de un nuevo tipo de fraude científico. No se trata de una persona escribiendo un estudio falso; se trata de un mal actor plantando una semilla de malos datos, y luego miles de agentes de IA honestos regándola, cosechándola y vendiéndola como verdad.

¿La buena noticia? El artículo sugiere que si enseñamos a nuestros agentes de IA a ser mejores detectives —específicamente verificando de dónde vienen los datos y comparándolos con otras fuentes— podemos detener este fraude de raíz. Pero sin esos controles, el artículo advierte que el fraude científico podría pronto industrializarse, funcionando en piloto automático.

Lo que el artículo descarta:
Los investigadores declaran explícitamente que este ataque no requiere que el mal actor hackee el cerebro de la IA, use palabras "disparadoras" secretas o escriba artículos académicos falsos. El ataque funciona puramente a través del ecosza de datos abiertos y metadatos engañosos. También argumentan que simplemente decirle a la IA que "sea crítica" no es suficiente; se necesita un proceso de auditoría estructurado.

¿Qué tan seguros están?
Los investigadores están muy seguros de sus hallazgos porque realmente realizaron los experimentos. No solo adivinaron; simularon el ataque 450 veces y midieron los resultados. Declaran claramente que, en estas simulaciones, el ataque funciona casi la mitad de las veces, y que la "Auditoría de Procedencia" lo detiene por completo. No afirman que este sea un problema resuelto para el mundo real todavía, pero han demostrado que la amenaza es real y la solución funciona en sus pruebas.

Resumen Técnico: Negación Distribuida de la Ciencia

Planteamiento del Problema

El artículo investiga una nueva amenaza a la integridad científica denominada envenenamiento de datos indirecto. Mientras que el fraude científico histórico requería recursos significativos (por ejemplo, redacción de artículos fantasma, financiamiento de estudios extensos), los autores postulan que la integración de la IA Generativa (GenAI) en los flujos de trabajo científicos crea una nueva vulnerabilidad. Específicamente, se preguntan si un adversario remoto puede instrumentalizar el uso honesto de agentes de IA para comprometer las conclusiones científicas.

El modelo de amenaza se basa en tres condiciones:

El ecosistema de datos abiertos: Plataformas como GitHub, HuggingFace y Kaggle donde los conjuntos de datos se alojan públicamente y se consideran confiables.
Recuperación autónoma: Agentes de IA que buscan, recuperan y analizan de forma independiente conjuntos de datos de estos repositorios para responder preguntas de investigación.
Científicos honestos: Investigadores que despliegan estos agentes de buena fe, sin intención de engañar.

En este escenario, un adversario manipula un conjunto de datos preexistente (o crea uno nuevo) para apoyar una narrativa engañosa, lo carga en un repositorio público y confía en que los agentes de IA lo recuperen y analicen. Los agentes, actuando como "distribuidores involuntarios y no remunerados", generan entonces conclusiones falsas o engañosas que el científico honesto publica, legitimando inadvertidamente la narrativa del adversario. A diferencia del envenenamiento de datos tradicional (que apunta a los datos de entrenamiento) o la inyección de prompts indirecta (que apunta a instrucciones específicas), este ataque no requiere acceso a los componentes internos del modelo, ni palabras clave de activación específicas, ni la fabricación de artículos científicos; solo la manipulación de datos abiertos y sus metadatos.

Metodología

Los autores llevaron a cabo experimentos controlados y éticamente contenidos para evaluar la viabilidad y la tasa de éxito del envenenamiento de datos indirecto.

Configuración Experimental

Agentes de IA: Se probaron tres sistemas de IA de vanguardia:
- Claude Code (con Claude Opus 4.7)
- Codex (con GPT-5.5)
- Gemini CLI (con Gemini 3.1 Pro)
Temas: Se seleccionaron cinco dominios de investigación socialmente relevantes para probar la aplicabilidad general:
1. Discriminación en la contratación (brechas de respuesta en el lugar de trabajo).
2. Análisis de la tasa de fertilidad en Europa (relación con la inmigración).
3. Disparidad racial en la vigilancia del tráfico (tasas de detención en Filadelfia).
4. Seguridad de vehículos autónomos (AV) frente a conductores humanos.
5. El costo motivacional de la GenAI en tareas secuenciales.
Técnicas de Envenenamiento: Para cada tema, los autores crearon conjuntos de datos envenenados utilizando cuatro vectores:
1. Creación de nuevos conjuntos de datos: Fabricación de datos suplementarios.
2. Inserción de nuevos datos: Adición de puntos de datos engañosos a conjuntos existentes.
3. Imputación de datos existentes: Alteración de las relaciones entre variables (por ejemplo, invertir correlaciones).
4. Metadatos engañosos: Escritura de archivos README o scripts de carga de datos engañosos para respaldar la falsa narrativa.
Objetivos del Adversario: Se probaron dos objetivos opuestos para cada tema:
- Rechazar: Manipular los datos para rechazar una hipótesis respaldada por el conjunto de datos original.
- Exagerar: Manipular los datos para respaldar la hipótesis con un efecto exagerado.
Prompts: Se dieron a los agentes tres tipos de prompts para simular distintos niveles de escrutinio:
- Mínimo: Instrucción neutral de una sola frase.
- Dirigido: Se añadieron instrucciones metodológicas.
- Crítico: Instrucciones detalladas para contrastar teorías e identificar sesgos.
Contención Ética: Los conjuntos de datos envenenados se cargaron en repositorios privados accesibles únicamente a través de un envoltorio de API personalizado que simulaba plataformas públicas. Esto evitó la propagación de desinformación al tiempo que permitía a los agentes recuperar los datos.
Escala: El estudio comprendió 450 ejecuciones experimentales (3 agentes × 5 temas × 2 objetivos × 3 prompts × 5 iteraciones).

Métricas de Evaluación

El éxito se categorizó en:

Sin Éxito: El conjunto de datos envenenado no fue encontrado, recuperado, utilizado o fue detectado por completo.
Éxito Parcial: El conjunto de datos fue utilizado, pero el agente destacó limitaciones o salvedades.
Éxito Total: El agente produjo una conclusión que respalda la narrativa envenenada sin salvedades ni detección.
La detección se midió mediante si el agente señalaba el conjunto de datos como potencialmente malicioso.

Resultados Clave

1. Alta Tasa de Éxito del Envenenamiento Indirecto

El envenenamiento de datos indirecto resultó ser altamente efectivo en todos los sistemas y temas probados.

Recuperación: Los conjuntos de datos envenenados fueron recuperados en el 84.22% de las ejecuciones.
Éxito Total: Los sistemas de IA produjeron conclusiones envenenadas sin salvedades en el 49.56% de las ejecuciones.
Cualquier Éxito: Incluyendo los éxitos parciales, el ataque tuvo éxito en el 59.33% de las ejecuciones.
Invarianza de Objetivo: La tasa de éxito fue estadísticamente indistinguible entre los objetivos de "Rechazar" y "Exagerar" ( $p=0.70$ ), lo que indica que los adversarios pueden fabricar cualquier conclusión predeterminada.

2. Variación entre Agentes y Temas

Susceptibilidad de los Agentes: Gemini fue el más susceptible (62.0% de éxito total), seguido de Claude (55.3%), con Codex siendo el más resistente (31.3%).
Variación de Temas: Las tasas de éxito variaron según el tema, desde el 35.6% (Seguridad de AV) hasta el 68.9% (Motivación de GenAI). Los temas con prompts que preparaban explícitamente el escepticismo metodológico (por ejemplo, Seguridad de AV) fueron más difíciles de envenenar.
Impacto de los Prompts: Aunque los prompts "Críticos" redujeron la tasa de conclusiones envenenadas (del 61.33% con prompts Mínimos al 26.67%), no mejoraron significamente la detección del envenenamiento en sí. Los agentes a menudo fallaban en recuperar los datos envenenados bajo prompts críticos en lugar de recuperarlos y rechazarlos.

3. Falta de Detección

Tasa de Detección: Los sistemas de IA señalaron el envenenamiento en solo el 6.0% de las ejecuciones.
Naturaleza de la Detección: La mayoría de las detecciones fueron "parciales" (atribuyendo los problemas a errores metodológicos en lugar de malicia).
Falsa Confianza: Los agentes ocasionalmente atribuían marcadores de confianza a datos envenenados que no existían (por ejemplo, afirmar que un conjunto de datos estaba pre-registrado) o utilizaban los metadatos envenenados para desacreditar el conjunto de datos legítimo preexistente.

4. Medidas de Mitigación

Los autores probaron dos intervenciones a nivel de prompt:

Persona de Científico: Instruir al agente para que actúe como un científico intelectualmente honesto y estadísticamente riguroso.
- Resultado: Redujo el éxito total al 16.67% y aumentó la detección al 30.67%, pero no redujo significativamente la tasa de uso de los conjuntos de datos envenenados (80.7%).
Auditoría de Procedencia de Datos: Un conjunto estructurado de cinco verificaciones: (1) encontrar artículos de referencia, (2) verificar marcadores sociales, (3) comprobar anomalías estadísticas, (4) comparar con conjuntos de datos relacionados y (5) precaución explícita contra el envenenamiento.
- Resultado: Redujo el éxito total del ataque al 0.0% y aumentó la detección al 77.33%. Redujo significativamente el uso de conjuntos de datos envenenados al 40%.
Predictores Clave: Las subtareas de auditoría que mejor predijeron las etiquetas de alto riesgo fueron la consistencia entre conjuntos de datos (OR ≈ 648) y las anomalías estadísticas (OR ≈ 145).

Significancia y Reivindicaciones

El artículo afirma ser la primera evaluación controlada, a gran escala y éticamente contenida del envenenamiento de datos indirecto contra la investigación de IA autónoma. Sus principales contribuciones e implicaciones incluyen:

Escalabilidad del Fraude: El ataque demuestra que el fraude científico puede industrializarse. Un solo conjunto de datos envenenado puede convertir a miles de agentes de IA honestos en ejecutores no remunerados de fraude, escalando el impacto del adversario sin acceso directo al proceso de investigación.
Optimización de Motores de Búsqueda (SEO) para el Fraude: Los resultados sugieren que la recuperación, más que el razonamiento, es el determinante principal del éxito. Los adversarios podrían optimizar qué conjuntos de datos envenenados aparecen más alto en los resultados de búsqueda, creando un bucle de "Optimización de Búsqueda de Envenenamiento" similar al SEO.
Insuficiencia de las Defensas Actuales: Los prompts estándar de "pensamiento crítico" son insuficientes. El artículo argumenta que la comunidad científica debe avanzar hacia conjuntos de datos con procedencia verificable nativa (por ejemplo, certificados de terceros de confianza), porque las señales de confianza generadas por humanos (descargas, estrellas) son fácilmente manipulables y se degradan en un ecososistema saturado de IA.
Riesgos de Política: Los hallazgos resaltan un riesgo específico para la formulación de políticas, donde los sistemas de IA se utilizan cada vez más para sintetizar evidencia. Si estos sistemas son engañados por datos envenenados, las decisiones trascendentales podrían fundamentarse en hallazgos falsos y aparentemente independientes.

Los autores concluyen que, si bien la misma automatización que promete acelerar el descubrimiento científico también permite la industrialización del fraude, estos riesgos pueden mitigarse mediante medidas de auditoría específicas e implementables, como la auditoría de procedencia de datos propuesta.