Detecting undisclosed LLM-generated content in parliamentary texts

Resumo Técnico: Detecção de Conteúdo Gerado por LLM Não Declarado em Textos Parlamentares

Declaração do Problema
A rápida integração de Modelos de Linguagem de Grande Escala (LLMs) na interação humano-computador levantou preocupações significativas em relação à transparência no discurso político. Embora as diretrizes de órgãos como a União Interparlamentar (IPU) e o Governo do Reino Unido recomendem a divulgação do uso de IA em textos parlamentares para manter a confiança pública e evitar a propagação de desinformação ou viés, tais divulgações estão amplamente ausentes dos registros oficiais. Essa falta de transparência torna difícil avaliar a extensão em que políticos e seus assessores utilizam IA para redigir moções e declarações. Além disso, os métodos de detecção existentes dependem frequentemente de redes neurais de "caixa-preta", que carecem da interpretabilidade necessária para decisões de alto risco, onde falsas acusações poderiam prejudicar reputações.

Metodologia
Os autores propõem uma estrutura para detectar conteúdo gerado por LLM não declarado em textos parlamentares do Reino Unido (Westminster) e da Suécia (Riksdag). A abordagem baseia-se em um classificador linear totalmente interpretável de "caixa de vidro" conhecido como Interpretable CONfidence-enhanced Perceptron (ICON).

• Coleta e Geração de Dados:

  • Escrito por humanos (Classe 0): Textos foram extraídos de registros parlamentares publicados entre 2014 e 2020 (era pré-LLM moderna) para servir como a verdade fundamental (ground truth) para a escrita humana.
  • Gerado por LLM (Classe 1): Para simular o uso realista, os autores empregaram um procedimento de prompting de duas etapas. Primeiro, textos escritos por humanos foram resumidos por um LLM (Gemini 3.1 Flash-Lite). Segundo, esses resumos foram usados como prompts para que LLMs (Gemini e GPT-5 mini) gerassem os textos completos. Isso resultou em um conjunto de dados base equilibrado de 1.400 textos humanos e 1.400 textos gerados por LLM por idioma (Reino Unido e sueco).
  • Conjuntos de Teste de Avanço (Forward Test Sets): Textos não rotulados publicados de 2021 em diante foram coletados para avaliar o uso real de LLM. Textos do início de 2021/2022 serviram como um conjunto de retenção para medir as taxas de falsos positivos (FP) antes da adoção pública generalizada de LLMs.

• Modelo de Classificação (ICON):

  • O classificador utiliza recursos de n-gramas (unigramas e bigramas) extraídos de textos tokenizados.
  • Emprega uma função de decisão linear $s = \alpha + \sum w_i f_i$, onde um texto é classificado como gerado por LLM (Classe 1) se a soma $s \geq 0$.
  • Os pesos ($w_i$) e o termo de viés ($\alpha$) são inicializados com base nas frequências de recursos nas classes de treinamento e otimizados via um método de treinamento de perceptron modificado que computa erros sobre todo o conjunto de dados, em vez de amostra por amostra.
  • Interpretabilidade: O modelo fornece uma pontuação de confiança baseada na magnitude da soma de classificação ($|s|$) e permite a visualização das contribuições de recursos específicos (por exemplo, palavras ou bigramas específicos) que impulsionam a decisão, evitando a opacidade das redes neurais profundas.

• Estratégia de Avaliação:

  • O estudo avalia a detecção em dois níveis: (1) classificando a moção parlamentar inteira como uma única unidade, e (2) classificando parágrafos individuais dentro de uma moção.
  • Um limiar de confiança ($T$) é aplicado à soma de classificação para minimizar os falsos positivos, particularmente para a análise de nível de parágrafo.

Principais Resultados

• Desempenho do Classificador: Os classificadores treinados alcançaram alto desempenho em conjuntos de teste de avanço, com escores F1 de 0,940 (Reino Unido) e 0,969 (sueco). Crucialmente, a taxa de falsos positivos em textos da era pré-LLM foi extremamente baixa (0,062 para o Reino Unido, 0,043 para a Suécia), indicando robustez contra a classificação errônea de escrita humana.
• Detecção de Uso Não Declarado: A aplicação dos classificadores aos conjuntos de teste de avanço (2021–2026) revelou um aumento constante no uso detectado de LLM em ambos os parlamentos:
  • Detecção de Texto Completo: Ao classificar moções inteiras, as taxas de detecção subiram de quase zero em 2021 para aproximadamente 2,1% no Reino Unido (2026) e 6,5% na Suécia (2025–2026).
  • Detecção de Nível de Parágrafo: Ao analisar parágrafos individuais, as taxas de detecção foram maiores, indicando que os LLMs são frequentemente usados para gerar seções específicas de um texto, em vez do documento inteiro. Até 2026, aproximadamente 15,5% das moções do Reino Unido e 9,4% das moções da Suécia continham pelo menos um parágrafo sinalizado como gerado por LLM.
• Tendências: Os dados mostram um aumento acentuado no uso detectado a partir do final de 2022/2023, correlacionando-se com o lançamento público de LLMs avançados.
• Divulgação: Uma busca manual nos textos detectados por palavras-chave relacionadas à IA (ex: "ChatGPT", "LLM", "IA") confirmou que nenhum dos textos continha qualquer divulgação do uso de IA.

Significância e Alegações
O artigo afirma fornecer a primeira evidência sistemática de uma tendência crescente de uso não declarado de LLM em textos parlamentares no Reino Unido e na Suécia. Ao utilizar um classificador de "caixa de vidro" interpretável, os autores argumentam que suas descobertas são mais defensáveis em contextos políticos de alto risco do que aquelas derivadas de modelos de caixa-preta, pois as razões específicas para a classificação podem ser inspecionadas e visualizadas.

Os autores enfatizam que seus resultados sugerem uma violação de diretrizes existentes (embora muitas vezes não obrigatórias) sobre transparência. Eles observam que, embora os LLMs possam ser ferramentas úteis, seu uso não declarado corre o risco de erodir a confiança pública, introduzir vieses sutis e potencialmente disseminar desinformação ou "descarregamento cognitivo" (cognitive offloading), onde a supervisão humana é reduzida. O estudo conclui que a atual falta de divulgação é uma "violação flagrante" dos princípios de transparência e clama por diretrizes mais claras e acionáveis, bem como pela adesão a elas nos processos parlamentares. O artigo nota modestamente limitações, como o potencial de diferenças linguísticas afetando a comparabilidade translinguística e a possibilidade de textos de "zona cinzenta" onde a edição humana do output da IA pode obscurecer os limites da detecção, mas mantém que as tendências detectadas são robustas e estatisticamente significativas.