Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities

Resumo Técnico: Colapso de Modelos como Ameaça a Comunidades de Baixos Recursos

Declaração do Problema
O artigo aborda o fenômeno do colapso de modelos, definido como a degradação no desempenho e na diversidade de modelos generativos quando são treinados com dados produzidos por gerações anteriores de modelos semelhantes. À medida que o conteúdo gerado artificialmente se prolifera (estimado em ~30% da internet até 2025), gerações sucessivas de modelos dependem cada vez mais de dados "sintéticos". Isso cria um ciclo de retroalimentação onde os modelos se sobrecapacitam (overfit) em padrões dominantes na distribuição de treinamento, apagando sistematicamente exemplos raros ou de "cauda".

Os autores argumentam que, embora o colapso de modelos seja um risco técnico geral, ele representa uma ameaça desproporcional e existencial a comunidades de baixos recursos e marginalizadas. Essas comunidades já sofrem com:

1. Sub-representação: Seus dados ocupam as "caudas" das distribuições globais de dados.
2. Inequidade Ambiental: Elas suportam o peso da pegada de carbono e dos custos de infraestrutura do treinamento de grandes modelos sem colher benefícios proporcionais.
3. Viés Cultural: Modelos de Linguagem de Grande Escala (LLMs) tendem a reforçar visões hegemônicas e "travar valores" de normas sociais desatualizadas.

O artigo postula que o colapso de modelos atua como uma "máquina de apagamento", acelerando a remoção de línguas de baixos recursos e nuances culturais da esfera digital, minando assim os esforços para democratizar a IA.

Metodologia e Marco Teórico
Este trabalho é um artigo de posição que sintetiza a literatura teórica e empírica existente, em vez de apresentar novos resultados experimentais. A metodologia envolve:

• Síntese da Literatura: Integração de descobertas sobre colapso de modelos (por exemplo, Shumailov et al., 2024; Dohmatob et al., 2024) com críticas aos LLMs quanto a viés e custo ambiental (por exemplo, Bender et al., 2021; Strubell et al., 2019).
• Aplicação Teórica: Aplicação do conceito de leis de escala neural a cenários de dados sintéticos. Os autores utilizam a descoberta de que mesmo pequenas frações de dados sintéticos (aprox. 1%) podem alterar expoentes de escala, causando um "teto de vidro" onde o aumento do tamanho do conjunto de dados não produz mais melhorias proporcionais no desempenho.
• Analogia com a Ciência Cognitiva: Estabelecimento de paralelos entre o colapso de modelos e a aprendizagem iterada (IL) na ciência cognitiva, observando que, embora a IL possa levar à regularização, ela também arrisca a perda de expressividade e o esquecimento de diferenças entre pontos de dados estreitamente relacionados sem intervenção externa.
• Análise Crítica de Definições: Engajamento com debates recentes (especificamente Schaeffer et al., 2025) sobre a definição de colapso de modelos. Os autores distinguem três tipos: (1) incapacidade progressiva de ajustar distribuições originais, (2) deformação de distribuições de dados (perda de caudas) e (3) diminuição do valor marginal de dados adicionais.

Principais Contribuições

1. Análise de Risco Interseccional: A principal contribuição do artigo é vincular o mecanismo técnico do colapso de modelos às realidades socioeconômicas das comunidades de baixos recursos. Argumenta-se que o colapso de modelos não é uma ameaça uniforme, mas estratificada, onde grupos marginalizados enfrentam o "pior cenário" primeiro, porque seus dados já são escassos e localizados nas caudas da distribuição.
2. A Desvantagem "Tríplice": Os autores identificam uma desvantagem cumulativa para comunidades de baixos recursos:
   • Escassez de Dados: Dados do mundo real limitados tornam-nas mais vulneráveis a serem sobrescritas por dados sintéticos.
   • Custo Ambiental: O aumento da computação necessária para combater o colapso de modelos (coletando mais dados ou treinando modelos maiores) exacerba o dano ambiental, o que afeta desproporcionalmente essas comunidades.
   • Apagamento Cultural: O efeito de "travar valores" é amplificado, onde visões dominantes se tornam enraizadas enquanto dialetos minoritários, alternância de código (code-switching) e línguas recuperadas são sistematicamente esquecidos.
3. Reavaliação do "Papagaio Estocástico": Os autores revisitam a analogia do "Papagaio Estocástico" (Bender et al., 2021), argumentando que ela permanece fundamental. Eles sustentam que, mesmo com avanços multimodais, os LLMs permanecem estatisticamente fundamentados em padrões observados, tornando-os suscetíveis aos vieses de frequência que impulsionam o colapso de modelos.
4. Crítica às Estratégias de Mitigação: O artigo destaca as limitações das soluções atuais. Por exemplo, a "curadoria de dados" (filtragem de dados sintéticos) está se tornando cada vez mais difícil à medida que os modelos generativos se tornam mais convincentes. Além disso, ferramentas de curadoria automatizada podem remover inadvertidamente variações linguísticas legítimas e de baixa frequência usadas por grupos marginalizados.

Resultados e Observações
Como um artigo de posição teórico, o trabalho não apresenta novas métricas empíricas, mas sintetiza descobertas existentes para apoiar seus argumentos:

• Disrupção da Lei de Escala: Citando Dohmatob et al. (2024b), o artigo observa que alcançar uma redução de dez vezes na perda de teste com 10% de dados sintéticos requer um aumento de uma ordem de magnitude no tamanho do conjunto de dados em comparação com dados limpos, aumentando drasticamente os custos.
• Mudança Distribucional: Referenciando a Figura 1 (baseada na perplexidade do GPT-2), o artigo ilustra que línguas de baixos recursos (por exemplo, Albanês, Indonésio) já ocupam distribuições de perplexidade mais altas (as "caudas") em comparação com línguas de altos recursos (por exemplo, Inglês). O colapso de modelos prevê que essas caudas serão as primeiras a desaparecer.
• Assimetria de Custos: Citando Kandpal & Raffel (2025), o artigo enfatiza que o custo de adquirir dados reais é 10 a 1000 vezes maior do que o custo de computação para treinamento. Essa barreira econômica impede que comunidades de baixos recursos "comprem" sua saída do colapso de modelos simplesmente coletando mais dados reais.

Significado e Chamada à Ação
O artigo conclui que, embora a gravidade do colapso de modelos seja debatida em contextos gerais, é uma ameaça iminente e severa a comunidades de baixos recursos e marginalizadas. Os autores argumentam que o discurso acadêmico tem focado demais em configurações de altos recursos e modelos teóricos, negligenciando as vulnerabilidades específicas dessas populações.

A Chamada à Ação:

• Priorização: As comunidades de NLP de baixos recursos e justiça em IA devem assumir a dianteira na pesquisa e mitigação do colapso de modelos.
• Soberania de Dados: Há uma necessidade urgente de construir e manter conjuntos de dados garantidos para conter dados reais e culturalmente autênticos para milhares de línguas sub-representadas (por exemplo, Ndebele, Pedi, Sotho).
• Novas Direções de Pesquisa: O artigo delineia questões abertas sobre:
  • Como o colapso de modelos afeta línguas aglutinantes (que possuem distribuições de palavras de cauda longa) de forma diferente das línguas analíticas.
  • O impacto da alternância de código (code-switching) nas mudanças de distribuição de dados.
  • O desenvolvimento de medidas tratáveis para colapso de modelos e detecção de dados sintéticos.
  • Estratégias para "diminuir" o colapso, como aprendizado auto-supervisionado ou aprendizado por reforço para promover características robustas e fora da distribuição.

Em última análise, o artigo afirma que, sem intervenção imediata, a representação online de múltiplas culturas corre o risco de ser severamente danificada ou apagada antes que o dano possa ser reparado.