Detecting undisclosed LLM-generated content in parliamentary texts

Resumen Técnico: Detección de Contenido Generado por LLM No Divulgado en Textos Parlamentarios

Planteamiento del Problema
La rápida integración de los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) en la interacción humano-computadora ha planteado serias preocupaciones respecto a la transparencia en el discurso político. Si bien las directrices de organismos como la Unión Interparlamentaria (IPU) y el Gobierno del Reino Unido recomiendan la divulgación del uso de IA en textos parlamentarios para mantener la confianza pública y prevenir la propagación de desinformación o sesgos, dichas divulgaciones están mayoritariamente ausentes de los registros oficiales. Esta falta de transparencia dificulta la evaluación del alcance con el que los políticos y sus asesores utilizan la IA para redactar mociones y declaraciones. Además, los métodos de detección existentes suelen depender de redes neuronales de "caja negra", que carecen de la interpretabilidad requerida para decisiones de alto nivel donde las falsas acusaciones podrían dañar reputaciones.

Metodología
Los autores proponen un marco para detectar contenido generado por LLM no divulgado en textos parlamentarios del Reino Unido (Westminster) y Suecia (Riksdag). El enfoque se basa en un clasificador lineal de "caja de cristal" totalmente interpretable conocido como el Perceptrón Mejorado por Confianza Interpretable (ICON).

• Recopilación y Generación de Datos:

  • Escrito por humanos (Clase 0): Se extrajeron textos de los registros parlamentarios publicados entre 2014 y 2020 (era previa a los LLM modernos) para servir como la verdad de referencia para la escritura humana.
  • Generado por LLM (Clase 1): Para simular un uso realista, los autores emplearon un procedimiento de prompting de dos pasos. Primero, un LLM (Gemini 3.1 Flash-Lite) resumió los textos escritos por humanos. Segundo, estos resúmenes se utilizaron como prompts para que otros LLM (Gemini y GPT-5 mini) generaran los textos completos. Esto resultó en un conjunto de datos base equilibrado de 1,400 textos humanos y 1,400 textos generados por LLM por idioma (Reino Unido y sueco).
  • Conjuntos de Prueba Prospectivos (Forward Test Sets): Se recopilaron textos no etiquetados publicados a partir de 2021 para evaluar el uso real de LLM. Los textos de principios de 2021/2022 sirvieron como un conjunto de reserva para medir las tasas de falsos positivos (FP) antes de la adopción pública generalizada de los LLM.

• Modelo de Clasificación (ICON):

  • El clasificador utiliza características de n-gramas (unigramas y bigramas) extraídas de textos tokenizados.
  • Emplea una función de decisión lineal $s = \alpha + \sum w_i f_i$, donde un texto se clasifica como generado por LLM (Clase 1) si la suma $s \geq 0$.
  • Los pesos ($w_i$) y el término de sesgo ($\alpha$) se inicializan basados en las frecuencias de las características en las clases de entrenamiento y se optimizan mediante un método de entrenamiento de perceptrón modificado que calcula los errores sobre todo el conjunto de datos en lugar de hacerlo muestra por muestra.
  • Interpretabilidad: El modelo proporciona una puntuación de confianza basada en la magnitud de la suma de clasificación ($|s|$) y permite la visualización de las contribuciones de características específicas (por ejemplo, palabras o bigramas específicos) que impulsan la decisión, evitando la opacidad de las redes neuronales profundas.

• Estrategia de Evaluación:

  • El estudio evalúa la detección en dos niveles: (1) clasificando la moción parlamentaria completa como una sola unidad, y (2) clasificando párrafos individuales dentro de una moción.
  • Se aplica un umbral de confianza ($T$) a la suma de clasificación para minimizar los falsos positivos, particularmente para el análisis a nivel de párrafo.

Resultados Clave

• Rendimiento del Clasificador: Los clasificadores entrenados alcanzaron un alto rendimiento en los conjuntos de prueba prospectivos, con puntuaciones F1 de 0.940 (Reino Unido) y 0.969 (sueco). Crucialmente, la tasa de falsos positivos en los textos de la era pre-LLM fue extremadamente baja (0.062 para el Reino Unido, 0.043 para Suecia), lo que indica robustez contra la clasificación errónea de la escritura humana.
• Detección de Uso No Divulgado: La aplicación de los clasificadores a los conjuntos de prueba prospectivos (2021–2026) reveló un aumento constante en el uso detectado de LLM en ambos parlamentos:
  • Detección de Texto Completo: Al clasificar mociones completas, las tasas de detección aumentaron de casi cero en 2021 a aproximadamente 2.1% en el Reino Unido (2026) y 6.5% en Suecia (2025–2026).
  • Detección a Nivel de Párrafo: Al analizar párrafos individuales, las tasas de detección fueron mayores, lo que indica que los LLM se utilizan a menudo para generar secciones específicas de un texto en lugar del documento completo. Para 2026, aproximadamente el 15.5% de las mociones del Reino Unido y el 9.4% de las suecas contenían al menos un párrafo marcado como generado por LLM.
• Tendencias: Los datos muestran un aumento pronunciado en el uso detectado a partir de finales de 2022/2023, lo cual correlaciona con el lanzamiento público de LLM avanzados.
• Divulgación: Una búsqueda manual de los textos detectados en busca de palabras clave relacionadas con la IA (por ejemplo, "ChatGPT", "LLM", "IA") confirmó que ninguno de los textos contenía ninguna divulgación del uso de IA.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evidencia sistemática de una tendencia creciente en el uso no divulgado de LLM dentro de los textos parlamentarios en el Reino Unido y Suecia. Al utilizar un clasificador de "caja de cristal" interpretable, los autores argumentan que sus hallazgos son más defendibles en contextos políticos de alto nivel que aquellos derivados de modelos de caja negra, ya que las razones específicas de la clasificación pueden inspeccionarse y visualizarse.

Los autores enfatizan que sus resultados sugieren una violación de las directrices existentes (aunque a menudo no obligatorias) respecto a la transparencia. Señalan que, si bien los LLM pueden ser herramientas útiles, su uso no divulgado conlleva el riesgo de erosionar la confianza pública, introducir sesgos sutiles y potencialmente propagar desinformación o "descarga cognitiva" (cognitive offloading) donde la supervisión humana se reduce. El estudio concluye que la actual falta de divulgación es una "violación flagrante" de los principios de transparencia y hace un llamado a directrices más claras y accionables, así como al cumplimiento de las mismas en los procesos parlamentarios. El documento menciona modestamente limitaciones, tales como la posibilidad de que las diferencias lingüísticas afecten la comparabilidad translingüística y la posibilidad de textos de "zona gris" donde la edición humana del resultado de la IA pueda desdibujar los límites de la detección, pero sostiene que las tendencias detectadas son robustas y estadísticamente significativas.