Protocol for the development of a tool (INSPECT-IPD) to identify problematic randomised controlled trials when individual participant data are available
Este artículo describe el protocolo para el desarrollo de INSPECT-IPD, una nueva herramienta diseñada para identificar ensayos controlados aleatorizados problemáticos mediante la evaluación e implementación de controles forenses en los datos individuales de los participantes a través de una combinación de pruebas empíricas y consenso de expertos internacionales.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
Imagina que eres un chef intentando hacer la mejor sopa del mundo. Para lograrlo, reúnes recetas de cientos de cocineros diferentes (estos son Ensayos Controlados Aleatorizados, o RCT, por sus siglas en inglés). Pruebas un poco de cada receta para ver si la sopa funciona. Por lo general, solo lees la tarjeta de la receta que escribió el cocinero.
Pero, ¿qué pasa si algunos de esos cocineros mintieron? ¿Qué pasa si inventaron la lista de ingredientes o incluso fingieron que prepararon la sopa? Leer solo la tarjeta de la receta no siempre puede atrapar a un mentiroso.
Este artículo trata sobre la construcción de una nueva lupa superpotente llamada INSPECT-IPD. Así es como funciona, desglosado en pasos sencillos:
El Problema: La "Tarjeta de la Receta" no es suficiente
Los autores ya construyeron una herramienta llamada INSPECT-SR que revisa las tarjetas de las recetas en busca de señales de alerta. Pero se dieron cuenta de que, a veces, necesitas ver la olla de sopa real —los ingredientes crudos e individuales— para saber con certeza si el cocinero dice la verdad.
En el mundo de la ciencia, esta "olla de sopa" se llama Datos de Participantes Individuales (IPD). Son los datos brutos de cada persona en el estudio. El artículo señala que cuando los científicos pueden observar estos datos brutos, encuentran estudios falsos o defectuosos con mucha más frecuencia (como encontrar un 44% de estudios falsos frente a solo un 2% cuando solo miraban la tarjeta de la receta).
El Objetivo: Construir la herramienta de la "Cocina Forense"
El equipo quiere construir una nueva herramienta, INSPECT-IPD, para ayudar a los científicos a revisar estos datos brutos. Pero no pueden simplemente adivinar qué verificaciones usar. Necesitan construir un "menú" de verificaciones que realmente funcionen.
Para ello, están llevando a cabo un proyecto de cinco pasos:
Paso 1: Reunir las Herramientas
Primero, están elaborando una lista gigante de todas las formas posibles de revisar los datos brutos. Es como reunir todos los utensilios de cocina posibles: básculas, termómetros, microscopios e incluso detectores de IA. Obtuvieron esta lista de expertos e investigaciones previas.
Paso 2: La Prueba de "Falso vs. Real"
A continuación, van a probar estos utensilios.
- Tomarán 15 conjuntos de datos reales (recetas de sopa reales).
- Crearán 15 conjuntos de datos falsos utilizando una IA (como ChatGPT) para simular cómo un mentiroso prepararía datos falsos.
- Pedirán a 30 expertos diferentes que utilicen los utensilios en estos conjuntos de datos.
- El Objetivo: Ver qué utensilios realmente detectan la sopa falsa y cuáles son confusos o inútiles. Quieren saber: ¿Es esta verificación fácil de entender? ¿Realmente detecta los datos malos?
Paso 3: La Votación de los Expertos (Encuesta Delphi)
Una vez que sepan qué utensilios funcionan, pedirán a un gran grupo de expertos internacionales (estadísticos, médicos, editores e incluso pacientes) que voten sobre ellos.
- Calificarán cada verificación en una escala del 1 al 9 basada en: "¿Qué tan útil es?" y "¿Qué tan fácil es de entender?".
- Quieren conservar solo las verificaciones en las que casi todos estén de acuerdo en que son tanto útiles como fáciles de usar.
Paso 4: El Menú Final
Los expertos se reunirán (virtualmente) para decidir la lista final.
- Si una verificación es excelente para atrapar mentirosos pero muy difícil de entender, podrían moverla a una "sección de especialistas" o escribir un mejor manual de instrucciones para ella.
- El resultado será un borrador de la herramienta INSPECT-IPD: una guía paso a paso para revisar los datos brutos.
Paso 5: La "Prueba de Manejo"
Finalmente, dejarán que usuarios del mundo real prueben la herramienta.
- Pedirán a personas que escriben Revisiones Sistemáticas (los chefs de la sopa) y a Editores de Revistas (los inspectores de salud de los restaurantes) que usen la herramienta en estudios reales.
- Preguntarán: "¿Fue fácil de usar? ¿Le ayudó a decidir si un estudio era confiable?".
- Basándose en sus comentarios, ajustarán la herramienta una última vez antes de lanzarla al público.
Reglas Importantes del Juego
El artículo es muy claro sobre lo que esta herramienta no es:
- No es una prueba de detector de mentiras: No dirá "Esta persona es un criminal". Solo dice: "Estos datos parecen sospechosos, así que tenga cuidado".
- No es para todos: Solo puedes usar esto si tienes acceso a los datos brutos (el IPD). Si solo tienes el artículo publicado, tienes que usar la herramienta anterior (INSPECT-SR).
- No es una varita mágica: Los autores admiten que a medida que la IA mejore en la falsificación de datos, la herramienta deberá actualizarse, tal como el software antivirus necesita actualizaciones.
El Panorama General
Los autores creen que si tenemos una buena herramienta, fácil de usar, para revisar los datos brutos, las revistas podrían empezar a exigir que los científicos compartan sus datos brutos con más frecuencia. Esto podría hacer que la ciencia sea más honesta, porque si sabes que alguien va a revisar tu "olla de sopa" con una lupa, es menos probable que intentes falsificarla.
En resumen: Este artículo es el plano para construir un nuevo kit de control de calidad de alta tecnología para estudios científicos, diseñado para detectar datos falsos mirando los ingredientes brutos en lugar de solo la tarjeta de la receta.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.