📊 statistics

Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection

Este artigo propõe a Regressão de Array de Verossimilhança (LAR), um novo método que organiza probabilidades ao nível de tokens através de janelas de contexto aninhadas em arrays estruturados para melhorar significativamente a inferência de pertinência e a detecção de texto gerado por IA, ao capturar informações sutis sobre escala de contexto e posição do token que os baselines tradicionais baseados em verossimilhança perdem.

Autores originais: Jiajun Sun, Zhanrui Cai

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiajun Sun, Zhanrui Cai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era digital, os modelos de linguagem tornaram-se tão proficientes em mimetizar a escrita humana que distinguir uma frase escrita por uma pessoa de uma gerada por uma máquina tornou-se cada vez mais difícil. Este desafio reside no cerne de duas questões críticas que enfrentam pesquisadores e a sociedade atual. A primeira é uma questão de privacidade e direitos autorais: podemos dizer se um texto específico foi usado para treinar um modelo inicialmente? Isto é vital para editores e autores que desejam saber se seu trabalho foi ingerido pela inteligência artificial sem permissão. A segunda questão é sobre origem: um determinado texto foi criado por um humano ou por um algoritmo? Esta distinção é essencial para manter a confiança no jornalismo, no trabalho acadêmico e no discurso online. Para responder a estas perguntas, cientistas têm há muito tempo dependido de um método que observa o quão provável é um modelo prever a próxima palavra em uma frase. Se um modelo estiver muito confiante sobre a próxima palavra, isso sugere que o texto pode ser familiar para ele ou gerado por ele. No entanto, os métodos tradicionais trataram esta confiança como um número único e estático, muitas vezes ignorando como a certeza do modelo muda à medida que ele lê mais ou menos do contexto ao redor da frase.

Um novo estudo dos pesquisadores Jiajun Sun e Zhanrui Cai propõe uma forma mais matizada de olhar para estes dados, tratando a confiança de um modelo de linguagem não como um ponto único, mas como uma paisagem rica e estruturada. Em vez de pedir ao modelo que julgue uma palavra com base em toda a frase que veio antes dela, os pesquisadores pediram ao modelo que julgasse a mesma palavra repetidamente, cada vez com uma quantidade diferente de contexto. Eles começaram com apenas a palavra imediatamente anterior, depois adicionaram mais uma, depois duas, e assim por diante, até chegar à frase completa. Este processo criou um mapa detalhado de como a confiança do modelo muda conforme a quantidade de informação disponível cresce. Ao organizar estes milhares de pontuações de confiança em um array estruturado, os pesquisadores puderam ver padrões que eram invisíveis quando se olhava apenas para a frase completa. Eles então usaram uma técnica estatística para aprender quais partes deste mapa — sejam contextos curtos, contextos longos ou posições específicas no texto — eram os indicadores mais confiáveis de se um texto foi escrito por um humano, gerado por máquina ou parte dos dados de treinamento do modelo.

Os resultados desta abordagem foram surpreendentemente eficazes. Quando testado em inferência de membros, que pergunta se um texto foi usado para treinar um modelo, o novo método alcançou uma taxa de sucesso entre 91,4% e 98,3% em cinco modelos de linguagem diferentes. Este foi um avanço significativo em relação aos métodos existentes, que tipicamente oscilavam entre 50% e 87%. Para detectar texto gerado por IA, o método teve um desempenho ainda melhor, atingindo taxas de sucesso entre 98,5% e 99,6%. O estudo revelou que a informação mais valiosa frequentemente vinha dos contextos mais curtos. Contrariando a suposição de que um modelo precisa da frase completa para fazer um julgamento, os pesquisadores descobriram que a reação do modelo a uma palavra baseada em apenas algumas palavras precedentes continha sinais únicos que a visão da frase completa perdia. Além disso, o estudo mostrou que, para inferência de membros, observar como a confiança do modelo mudava entre diferentes comprimentos de contexto fornecia pistas extras, permitindo que o sistema detectasse padrões sutis de repetição ou memorização que métodos mais simples negligenciavam.

Os pesquisadores também exploraram quanto dado era necessário para tornar estas detecções precisas. Eles descobriram que, mesmo com um número muito pequeno de exemplos rotulados, o novo método superava as abordagens tradicionais. Com apenas cem textos rotulados, o sistema já conseguia distinguir entre escrita humana e de máquina com alta confiabilidade, e sua precisão continuava a subir conforme mais dados eram adicionados. Isto sugere que o método é eficiente e não requer conjuntos de dados massivos para ser eficaz. O estudo também demonstrou que a abordagem funciona bem mesmo quando o modelo usado para analisar o texto é diferente do modelo que o gerou. Esta é uma descoberta crucial, pois significa que a técnica pode ser aplicada amplamente sem a necessidade de conhecer a identidade exata da IA que criou o conteúdo.

Ao se afastar de resumos de número único e abraçar a total complexidade de como um modelo de linguagem processa o contexto, esta pesquisa oferece uma nova e poderosa ferramenta para auditar a inteligência artificial. Ela confirma que o caminho para compreender o comportamento da IA não reside em simplificar os dados, mas em organizá-los de uma forma que respeite sua estrutura. O trabalho fornece um caminho claro e baseado em dados para proteger a propriedade intelectual e verificar a autenticidade do texto em uma era onde a linha entre a criação humana e a de máquina está cada vez mais borrada. As descobertas sugerem que, ao prestar atenção às mudanças sutis na confiança de um modelo enquanto ele lê, podemos descobrir as impressões digitais ocultas tanto dos dados de treinamento quanto do processo de geração, oferecendo uma defesa robusta contra o uso indevido e uma visão mais clara do cenário digital.

Resumo Técnico: Regressão de Matriz de Verossimilhança ao Nível de Token para Inferência de Membros e Detecção de Texto Gerado por IA

Definição do Problema
O artigo aborda duas tarefas críticas de auditoria para modelos de linguagem: inferência de membros (determinar se um texto fez parte dos dados de treinamento de um modelo) e detecção de texto gerado por IA (distinguir texto gerado por modelos de escrita humana). Embora ambas as tarefas possam ser formuladas como problemas de classificação binária baseados em probabilidades condicionais de tokens, os métodos existentes baseados em verossimilhança sofrem de uma perda significativa de informação. As abordagens atuais tipicamente comprimem as probabilidades ao nível do token em alguns resumos escalares (ex: perda média, Min-K%, ou perplexidade), dependendo apenas das probabilidades condicionadas ao contexto completo precedente ( $\ell_{full}(t)$ ). Essa agregação descarta a variação conjunta da informação de verossimilhança através de diferentes comprimentos de contexto e posições de tokens. Detectores supervisionados treinados em corpora rotulados frequentemente exigem ajuste fino extensivo e dados rotulados adicionais para se adaptarem a novos modelos ou domínios. Os autores propõem a questão estatística de como representar e modelar a informação de verossimilhança que varia conjuntamente com o comprimento do contexto e a posição do token sem impor suposições estruturais rígidas.

Metodologia: Regressão de Matriz de Verossimilhança (LAR)
Os autores propõem a Regressão de Matriz de Verossimilhança ao Nível de Token (LAR), um framework que trata as probabilidades condicionais de tokens de um modelo de pontuação fixo como uma matriz estruturada de comprimento variável, em vez de um resumo escalar.

Construção da Matriz de Verossimilhança:
- Para cada token alvo $x_t$ em um texto, o modelo de pontuação avalia a log-probabilidade sob uma sequência de janelas de contexto à esquerda aninhadas, variando desde a sequência precedente completa ( $x_1, \dots, x_{t-1}$ ) até um único token ( $x_{t-1}$ ).
- Isso cria um "caminho de token-alvo" para cada token, registrando como a avaliação do modelo muda conforme a escala do contexto diminui.
- Esses caminhos formam uma matriz de verossimilhança triangular $L(X) = \{(s, t, \ell(s, t))\}$ , onde $s$ é o início do contexto e $t$ é o token alvo.
Alinhamento e Engenharia de Atributos (Feature Engineering):
- Para lidar com comprimentos de texto variáveis, os autores normalizam a escala do contexto ( $u$ ) e a posição relativa do token ( $v$ ) para um domínio comum $[0, 1] \times [0, 1]$ .
- As células são alinhadas via interpolação linear em uma grade fixa de escalas de contexto.
- Cada célula alinhada é aumentada com um vetor de canal de 5 dimensões $h$ $h$ :
  - Log-probabilidade do token observado ( $\ell$ ).
  - Contraste de contexto ( $\delta$ ): a razão logarítmica da probabilidade do token com contexto versus sem contexto (BOS).
  - Log-probabilidade padronizada ( $z$ ) e contraste de contexto padronizado ( $z_\delta$ ): normalizados contra a distribuição do vocabulário preditivo do modelo.
  - Inclinação local ( $\dot{z}$ ): a taxa de mudança na previsibilidade padronizada conforme o contexto aumenta.
Modelos de Regressão:
- LAR-1 (Primeira Ordem): Modela o log-odds da classe como uma agregação aditiva de contribuições de células alinhadas individuais. Aprende uma função $b(u, v, h)$ que mapeia escala de contexto, posição e atributos para o log-odds, aprendendo efetivamente como padrões de verossimilhança contribuem de forma diferente dependendo de sua localização no documento e do comprimento do contexto.
- LAR-2 (Segunda Ordem): Aumenta o LAR-1 com atributos quadráticos dentro do caminho (within-path). Captura interações entre pares de avaliações do mesmo token alvo através de diferentes comprimentos de contexto. Isso permite que o modelo detecte como a mudança na verossimilhança (ex: uma baixa verossimilhança sob contexto curto que aumenta sob contexto longo) informa o rótulo.
Estimação:
- Os modelos funcionais de dimensão infinita são aproximados usando expansões de base finitas (produtos tensoriais de splines para contexto/posição e funções trigonométricas aleatórias para canais).
- Os termos de segunda ordem são estimados usando projeções quadráticas aleatórias para reduzir a dimensionalidade enquanto preserva a estrutura dentro do caminho.
- Os estimadores finais são ajustados via regressão logística de ridge em atributos de nível de documento derivados dessas expansões.

Principais Contribuições

Representação Inovadora: O artigo introduz a representação de matriz de verossimilhança, que preserva a variação conjunta de verossimilhanças através de escalas de contexto e posições de tokens, indo além dos resumos escalares usados em trabalhos anteriores.
Limites Teóricos: Para o modelo quadrático dentro do caminho (LAR-2), os autores estabelecem limites de predição minimax correspondentes de taxa $\{\log(en)/n\}^{\nu/(\nu+1)}$ sob decaimento de covariância de forma de produto. Eles caracterizam erros decorrentes de aproximação de dimensão finita e projeções aleatórias, mostrando condições sob as quais um crivo espectral oracle atinge a taxa minimax.
Superioridade Empírica: O framework mostra-se substancialmente superior aos baselines de verossimilhança existentes e detectores supervisionados através de múltiplos modelos de pontuação e domínios.
Insight sobre Fontes de Informação: A análise revela que as verossimilhanças de contexto mais curto contêm informação significativa além das probabilidades de contexto total convencionais e que os atributos de segunda ordem fornecem ganhos substanciais especificamente para inferência de membros.

Resultados
Os autores avaliaram o LAR em dois benchmarks:

WikiMIA (Inferência de Membros): Usando 1.650 textos e cinco modelos de pontuação (Pythia, LLaMA-2, Falcon).
- O LAR-1 alcançou AUCs médias de 0,914–0,960.
- O LAR-2 melhorou isso para 0,953–0,983, superando significativamente o melhor baseline existente (ReCaLL, AUC máx 0,871) e um método supervisionado com ajuste fino (Fine-tuned Score Deviation, AUC máx 0,90).
- Células de contexto mais curto isoladamente renderam AUCs de ~0,907, comparadas a ~0,802 para células de contexto total apenas.
Detecção de Texto Gerado por IA: Usando 1.200 textos de quatro domínios (ficção, notícias, ensaios, reviews) gerados pelo GPT-4o e pontuados por cinco modelos de pesos abertos.
- O LAR-1 alcançou AUCs médias de 0,985–0,996.
- O LAR-2 alcançou 0,987–0,995.
- Estes resultados superaram todos os baselines, incluindo o detector supervisionado StatDetectLLM (AUC 0,980) e o RADAR (AUC 0,839).
- Nesta tarefa, o ganho proveniente de atributos de segunda ordem foi mínimo, sugerindo que os padrões funcionais de primeira ordem capturam a maior parte do sinal de separação.

Significância e Alegações
O artigo afirma que o LAR fornece uma solução estatisticamente fundamentada para a "questão estatística mais ampla" de como representar a informação de verossimilhança que varia com o contexto e a posição. Ao evitar a agregação de dados de nível de token em pontuações pré-especificadas, o LAR extrai sinais mais ricos, particularmente das janelas de contexto mais curtas que são frequentemente ignoradas. Teoricamente, o trabalho fornece a primeira análise minimax para esta classe específica de modelos quadráticos dentro do caminho, ligando o erro de predição à convergência de AUC. Praticamente, o método oferece uma alternativa robusta e sem necessidade de ajuste fino para detectores supervisionados, exigindo apenas um modelo de pontuação fixo e um conjunto de dados rotulados para a etapa de regressão, enquanto atinge desempenho de estado da arte tanto em auditoria de privacidade quanto em detecção de IA. Os autores observam que, embora o método seja computacionalmente mais exigente do que a pontuação de contexto total, os ganhos de desempenho justificam o custo, e trabalhos futuros podem explorar a seleção adaptativa de janelas de contexto para reduzir o overhead computacional.

Mais como este