💻 computer science

How Human Feedback Shapes AI-generated Community Notes

Este artículo analiza un gran corpus de notas colaborativas en X para demostrar que, si bien la retroalimentación humana mejora significativamente la utilidad del contenido redactado por IA —particularmente mediante correcciones fácticas y el cuestionamiento de afirmaciones—, estas notas híbridas enfrentan cuellos de botella en su adopción debido a la participación limitada y, en última instancia, desempeñan un papel complementario al dirigirse a publicaciones pasadas por la moderación puramente humana o exclusivamente de IA.

Autores originales: Soham De, Isaac Slaughter, Jiawei Guo, Qiao-Yun Cheng, Jiayuan Yan, Sruti Banerjee, Martin Saveski

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Soham De, Isaac Slaughter, Jiawei Guo, Qiao-Yun Cheng, Jiayuan Yan, Sruti Banerjee, Martin Saveski

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una plaza de pueblo masiva donde la gente publica mensajes, y a veces esos mensajes contienen mentiras o verdades a medias. Para mantener la honestidad en la plaza, la plataforma utiliza un sistema llamado Notas de la Comunidad. Piensa en esto como una vigilancia vecinal donde ciudadanos comunes, no oficiales de policía profesionales, dan un paso al frente para escribir "verificaciones de hechos" sobre las publicaciones engañosas.

Recientemente, la plataforma (X) probó un nuevo experimento: Notas Colaborativas. En lugar de que un humano escriba una verificación desde cero, una IA (un escritor robot) redacta primero el borrador. Luego, los vecinos humanos leen ese borrazón, sugieren cambios y la IA lo vuelve a escribir. Esto sucede en un bucle hasta que la nota es lo suficientemente buena como para mostrarla a todos.

Este artículo es como un informe de calificaciones sobre qué tan bien está funcionando este equipo de "Humano + Robot". Aquí es donde los investigadores descubrieron, explicado de forma sencilla:

1. El bucle de retroalimentación: ¿Quién está hablando y qué están diciendo?

Cuando la IA escribe un borrador, los humanos intervienen para criticarlo. Los investigadores analizaron miles de estas críticas y las clasificaron en categorías:

Los "Verificadores de hechos": Personas que señalan errores o añaden contexto faltante (por ejemplo, "Esta fuente es falsa" o "Olvidaste mencionar la fecha").
Los "Editores": Personas que corrigen la gramática o el formato.
Los "Filósofos": Personas que discuten sobre si la nota debería existir o expresan opiniones morales personales.
El grupo "Anti-Robot": Personas que dicen explícitamente: "No queremos que la IA haga esto".

El veredicto: La IA es muy buena escuchando a los "Verificadores de hechos" y a los "Editores". Si le das un enlace a una fuente o una corrección clara, generalmente lo arregla. Sin embargo, ignora en gran medida a los "Filósofos" y al grupo "Anti-Robot". Si solo dices "Odio esta nota" sin una razón específica, la IA suele mantener el borrador tal cual.

¿Quién está hablando? Resulta que las personas que critican los borradores de la IA no son el usuario promedio. Son los "veteranos": personas que han estado en la plataforma durante años, que han calificado miles de notas y que a menudo tienen opiniones políticas muy fuertes y polarizadas. Es como si la reunión de la plaza del pueblo estuviera dominada por los mismos 50 vecinos ruidosos y experimentados en lugar de toda la comunidad.

2. La evolución: ¿Mejora la nota?

Imagina una escultura. La IA comienza con un bloque de piedra tosco. Los humanos cincelan y la IA lo suaviza.

Sí, mejora: En promedio, la versión final de la nota es mucho más útil que el primer borrador que hizo la IA.
Pero es un viaje accidentado: La mejora no es una línea recta hacia arriba. A veces, un cambio hace que la nota sea peor antes de hacerla mejor. Es como un juego de "caliente o frío" donde la calidad de la nota fluctúa antes de establecerse finalmente en una buena versión.
Más rondas = Mejores resultados: Las notas que pasan por muchas rondas de revisión (cadenas largas) terminan siendo de mucha mayor calidad que aquellas que solo reciben un par de ajustes.

3. La prueba de realidad: ¿Está funcionando realmente este nuevo sistema?

Aquí está la parte difícil. Aunque las notas sí mejoran con la ayuda humana, las notas "Humano + Robot" están luchando en comparación con las notas escritas puramente por humanos o puramente por IA.

La brecha de "Utilidad": Las notas colaborativas son calificadas como "útiles" con mucha menos frecuencia que los otros tipos. Solo alrededor del 1.8% de ellas logran pasar el corte, en comparación con el 14% de las notas de solo IA y el 9% de las de solo humanos.
El problema de la "Velocidad": Toma mucho más tiempo para que una nota colaborativa reciba suficientes votos para ser mostrada. Es como un tren lento comparado con los autos rápidos de los otros sistemas.
El problema de la "Multitud": ¿Por qué están fallando? Porque no hay suficiente gente votando en ellas.
- La gente parece dudar al calificar los borradores de la IA.
- La gente se cansa. Si calificas el primer borrador, rara vez regresas para calificar el segundo o el tercer borrador. La "audiencia" cambia constantemente, por lo que la nota nunca alcanza un consenso estable.

4. El rayo de esperanza: ¿Por qué seguir haciéndolo?

Si son más lentos y menos populares, ¿por qué molestarse? Los investigadores descubrieron que estas notas desempeñan un papel complementario.

Piensa de nuevo en la plaza del pueblo. Los equipos de "Solo humanos" y "Solo IA" están ocupados verificando las mentiras más obvias y populares. Pero hay miles de otras publicaciones que nadie está revisando. El equipo "Colaborativo" interviene para revisar esos posts olvidados. Están llenando los huecos donde nadie más está mirando.

Resumen

El experimento muestra que la IA puede escribir un buen primer borrador y los humanos pueden arreglarlo, pero el sistema actual tiene algunos fallos:

Muy poca gente está dispuesta a ayudar a arreglar los borradores de la IA.
Las personas que sí ayudan son mayoritariamente los mismos "veteranos" con opiniones fuertes.
El proceso es demasiado lento y la gente pierde el interés después del primer borrador.

El artículo sugiere que para solucionar esto, la plataforma necesita hacer más fácil que la gente común participe, quizás no obligándoles a escribir comentarios largos y fomentando que regresen para votar en las versiones actualizadas. Si pueden lograr que más personas participen, estos equipos de "Humano + Robot" podrían convertirse en una herramienta poderosa para limpiar internet.

Resumen Técnico: Cómo la retroalimentación humana moldea las Notas de la Comunidad generadas por IA

Declaración del Problema

Las Notas de la Comunidad han surgido como un mecanismo estándar para la verificación de hechos crowdsourced en plataformas de redes sociales como X (anteriormente Twitter), Facebook y TikTok. Aunque son eficaces para reducir la propagación de la desinformación, el sistema enfrenta desafíos persistentes en cuanto a cobertura (qué publicaciones reciben notas) y latencia (qué tan rápido se adjuntan las notas). Para abordar esto, X introdujo las Notas Colaborativas, un sistema donde los Modelos de Lenguaje Extensos (LLMs) redactan notas iniciales sobre contenido marcado, las cuales son refinadas iterativamente basándose en la retroalimentación humana (calificaciones y sugerencias de texto libre).

El problema central de investigación es comprender la dinámica de esta colaboración humano-IA: ¿Realmente el bucle de retroalimentación iterativa mejora la calidad de la nota? ¿Cómo influye la naturaleza de la entrada humana en estas mejoras? Y, en última instancia, ¿son estas notas colaborativas más efectivas que las notas generadas únicamente por humanos o únicamente por IA?

Metodología

Los autores realizaron un análisis sistemático de métodos mixtos de todo el corpus de Notas Colaborativas en X hasta el 5 de mayo de 2026. El conjunto de datos comprende 19,146 versiones de notas a través de 10,600 publicaciones únicas y 211,850 instancias de calificaciones y sugerencias humanas.

El análisis se estructuró en torno a tres Preguntas de Investigación (RQ):

Desarrollo de la Taxonomía (RQ1): Para caracterizar la entrada humana, los autores desarrollaron una taxonomía de tipos de sugerencias. Dos autores anotaron una muestra aleatoria de 100 sugerencias para derivar 13 códigos de bajo nivel organizados en tres dimensiones: intención de la sugerencia, nivel de evidencia y capacidad de acción. Esta taxonomía se aplicó al conjunto de datos completo utilizando GPT-5.5. También utilizaron un prompt especializado con Grok-4.20-reasoning para determinar si sugerencias específicas fueron incorporadas en las versiones revisadas de las notas.
Métricas de Desempeño (RQ2 y RQ3):
- Utilidad de la Nota: Calculada utilizando el puntuador Core Matrix Factorization (fase de pre-puntuación) del algoritmo oficial de Community Notes. Esto genera un "intercepto de la nota" que representa qué tan ampliamente útil es calificada una nota a través de diversos puntos de vista.
- Tiempo hacia el Consenso: Medido como el tiempo transcurrido desde la creación de la primera versión de la nota hasta la primera transición fuera del estado de "Necesita Más Calificaciones" (NMR) hacia "Actualmente Calificada como Útil" (CRH) o "Actualmente Calificada como No Útil" (CRNH).
Análisis de Regresión: Se realizaron regresiones de Mínimos Cuadrados Ordinarios (OLS) con errores estándar robustos al clúster a nivel de transición de versión a versión. Estos modelos analizaron cómo los cambios en las puntuaciones de utilidad se correlacionaban con:
- El contenido de las sugerencias incorporadas (ej. desafiar afirmaciones, añadir contexto).
- Características del evaluador (ej. antigüedad, volumen de calificación, inclinación política, capacidad de escritura).
Anotación de Temas: Se utilizó un clasificador de temas de tweets multietiqueta para categorizar las publicaciones que reciben notas colaborativas, permitiendo comparaciones de desempeño entre diferentes dominios.

Contribuciones Clave y Resultados

1. Caracterización de la Entrada Humana (RQ1)

Tipos de Sugerencia: Las sugerencias más comunes (40.1%) desafiaban las afirmaciones principales de la publicación. Otros tipos frecuentes incluyeron comentarios de meta-política (21.4%) y solicitudes de contexto adicional (15.7%). Un subconjunto notable (4.8%) expresaba resistencia explícita al uso de IA.
Tasas de Incorporación: Las sugerencias basadas en correcciones fácticas, crítica de fuentes y contexto añadido fueron las más propensas a ser incorporadas en nuevos borradores. Por el contrario, los juicios de política subjetiva y las expresiones de resistencia contra la IA fueron raramente incorporados.
Demografía de los Evaluadores: Los contribuyentes a las notas colaborativas difieren significamente de quienes califican las notas estándar. Son más polarizados (mayor bimodality en la inclinación política), tienen una mayor antigüedad en la plataforma y poseen volúmenes de calificación sustancialmente más altos. El sistema está dominado por "veteranos" experimentados (83.3% tienen privilegios de escritura).

2. Evolución de las Notas Colaborativas (RQ2)

Mejora de la Calidad: La retroalimentación humana impulsa ganancias de calidad significativas. Tanto las versiones finales como las mejores versiones de las notas colaborativas son calificadas como significativamente más útiles que la versión inicial redactada por IA ( $p < 0.001$ ).
No Monotonicidad: La mejora rara vez es lineal; las trayectorias de las notas frecuentemente fluctúan antes de converger en una mayor calidad.
Impulsores de Mejora:
- Longitud de la Cadena: Las cadenas de revisión más largas (7+ versiones) están asociadas con mayores ganancias de calidad que las cadenas cortas.
- Tipo de Sugerencia: Las sugerencias que desafían la afirmación principal, ofrecen retroalimentación de meta-política o incluyen ediciones de formato están estadísticamente asociadas con mejoras en las puntuaciones de utilidad.
- Características del Evaluador: Las sugerencias de evaluadores de alto volumen conducen a mayores mejoras. Por el contrario, las sugerencias de evaluadores ideológicamente extremos predicen menores mejoras, sugiriendo que las perspectivas partidistas pueden reducir la utilidad general.

3. Efectividad y Desempeño Comparativo (RQ3)

Menor Utilidad General: A pesar de las mejoras iterativas, las notas colaborativas actualmente rinden por debajo de las líneas base de solo humanos y solo IA en términos de puntuaciones promedio de utilidad. Solo el 1.8% de las notas colaborativas alcanzan un estatus de "útil", comparado con el 14.1% para las notas de solo IA y el 9.0% para las de solo humanos.
Cuellos de Botella:
- Tiempo hacia el Consenso: Las notas colaborativas tardan más en alcanzar un estatus de consenso, reduciendo su utilidad en la verificación de hechos sensible al tiempo.
- Falta de Calificaciones: Las notas colaborativas atraen significativamente menos evaluadores únicos (media $\mu=25.7$ ) en comparación con las de solo humanos ( $\mu=75.6$ ) o solo IA ( $\mu=33.1$ ).
- Retención de Evaluadores: El compromiso cae drásticamente a través de las versiones; solo ~41% de los evaluadores que evaluaron la primera versión regresaron para calificar la segunda.
Rol Complementario: A pesar de las métricas de desempeño más bajas, las notas colaborativas desempeñan un rol complementario. Se dirigen predominantemente a publicaciones que no atraen notas de solo humanos o de solo IA. De las publicaciones con notas colaborativas, el 76.5% no tenía otras notas propuestas, lo que sugiere que expanden la cobertura a contenidos que de otro modo serían ignorados.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera descripción empírica de un despliegue en el mundo real de un sistema de verificación de hechos colaborativo humano-IA. Su significancia radica en:

Validación del Modelo Híbrido: Demuestra que, si bien los borrados de IA pueden ser mejorados por la retroalimentación humana, el proceso es complejo, no monotónico y actualmente limitado por cuellos de botella estructurales (específicamente, la falta de compromiso de los evaluadores).
Identificación de Limitaciones Estructurales: Los autores destacan que el sistema actual depende fuertemente de una minoría hiperactiva y polarizada de usuarios, lo que puede introducir ruido e inestabilidad. La "falta de calificaciones" se identifica como un cuello de botella primario que impide que las notas colaborativas alcancen el estatus de utilidad.
Utilidad Complementaria: El estudio argumenta que, en lugar de ser un sustituto directo de las notas humanas o de IA, el sistema colaborativo sirve a una función única al cubrir publicaciones que otros mecanismos pasan por alto.
Vías de Diseño: Los autores esbozan intervenciones de diseño concretas, tales como tratar las calificaciones de forma acumulativa a través de las versiones, guiar a los evaluadores hacia tipos de sugerencias más accionables y reducir la fricción para nuevos contribuyentes para ampliar la participación.

Los autores mantienen una postura modesta, señalando que, dado que el sistema está bajo desarrollo activo, estos hallazgos reflejan el estado actual y que futuras iteraciones pueden alterar estas dinámicas. Enfatizan que, si bien el proceso colaborativo mejora la calidad de la nota, aún no ha cerrado la brecha con las líneas base no colaborativas en términos de utilidad general o velocidad.