Epistemic Subordination: Generative AI and the Infrastructure of Knowledge

No mundo moderno, dependemos cada vez mais da inteligência artificial para resumir notícias, escrever histórias e responder a perguntas. Esses sistemas, conhecidos como IA generativa, não apenas recuperam fatos de um banco de dados; eles aprendem a prever quais palavras devem vir a seguir estudando vastas quantidades de texto da internet. Esse processo cria um modelo estatístico da linguagem humana, onde o sistema aprende padrões baseados no que leu com mais frequência. Por décadas, especialistas temem que esses sistemas possam ser tendenciosos, o que significa que poderiam favorecer injustamente um grupo de pessoas em detrimento de outro. A suposição habitual tem sido que esse viés provém de erros específicos nos dados ou das escolhas feitas pelos programadores que constroem as ferramentas. No entanto, uma nova perspectiva sugere que o problema é muito mais profundo e estrutural. Não é apenas que a IA cometa erros; é que o próprio fundamento de como a IA entende o mundo é construído sobre uma forma de pensar única e dominante, fazendo com que todas as outras formas de saber pareçam desvios.

Dois estudiosos do direito, Gilad Abiri e Emanuel Towfigh, argumentam que este fenômeno, que chamam de subordinação epistêmica, representa uma mudança fundamental na forma como o conhecimento é organizado. Eles propõem que a IA generativa faz algo que nenhuma tecnologia anterior fez: ela codifica a forma de saber da maioria como a infraestrutura padrão para todo o conhecimento. Neste sistema, as suposições culturais, as línguas e os estilos de raciocínio da maioria global tornam-se o padrão invisível contra o qual tudo o mais é medido. O dano não é meramente que a IA produza resultados injustos, mas que ela constrói uma realidade estatística onde as culturas e línguas minoritárias são estruturalmente empurradas para baixo, não porque sejam excluídas, mas porque são absorvidas e achatadas em uma média homogênea e única. Os autores mostram que esta questão unifica três problemas distintos que costumam ser tratados como separados: resultados discriminatórios, ameaças às culturas minoritárias e o estreitamento do debate democrático. Eles concluem que estes não são falhas aleatórias, mas o resultado inevitável de como estes modelos são construídos.

O mecanismo por trás desta subordinação desenrola-se em três estágios distintos, começando com os próprios dados. A maioria dos modelos de IA é treinada na totalidade não estruturada da expressão humana disponível na internet. Este cenário digital não é neutro; é esmagadoramente dominado por conteúdo em língua inglesa, perspectivas ocidentais e as visões de populações com educação e acesso para publicar online. Quando um modelo aprende a partir deste corpus, ele não aprende apenas palavras; ele aprende as suposições culturais e os marcos normativos dessa maioria como seu padrão estatístico. O segundo estágio torna este padrão irreversível. Durante o treinamento, os dados são comprimidos em bilhões de parâmetros estatísticos que não podem ser descompactados ou rastreados até as suas fontes originais. Ao contrário de programas de computador antigos, onde um programador poderia apontar para uma regra específica causando um viés, estes modelos são opacos por design. O viés não está em uma única linha de código ou em uma variável específica; está tecido em toda a arquitetura do sistema.

O terceiro estágio envolve as ferramentas usadas para tornar esses sistemas de IA seguros e justos, conhecidas como alinhamento de valores. Técnicas como o aprendizado por reforço a partir de feedback humano ajustam o que o modelo diz para torná-lo mais educado ou menos prejudicial. No entanto, os autores argumentam que essas ferramentas alteram apenas o output, não o conhecimento subjacente. Quando os desenvolvedores tentam forçar um modelo a ser diverso, os resultados podem ser absurdos, como gerar imagens de soldados nazistas racialmente diversos, porque o padrão de base do modelo não possui um quadro genuíno para a diversidade contextual. Ele simplesmente tenta sobrepor de forma rudimentar um padrão estatístico que não consegue compreender verdadeiramente. Consequentemente, o dano é produzido ao nível da construção, não ao nível da resposta final. O modelo não produz apenas decisões enviesadas; ele subordina formas inteiras de conhecimento e cultura ao tratá-las como desvios de um padrão do qual elas não participaram na definição.

Esta realidade estrutural cria uma crise para as leis existentes destinadas a proteger as minorias. Leis anti-discriminação, por exemplo, funcionam comparando uma decisão específica contra um padrão neutro. Se um banco rejeita um solicitante de empréstimo com base em uma regra específica que prejudica um grupo protegido, a lei pode anular essa decisão. Mas a IA generativa não oferece tal alvo discreto. O output discriminatório é o produto de toda a arquitetção, não de uma regra identificável. A "decisão" é um palpite probabilístico, os "critérios" são bilhões de parâmetros invisíveis e a "entidade" responsável é uma cadeia de desenvolvedores e implantadores. As ferramentas jurídicas de intenção e causalidade perdem sua força porque o dano não é um ato específico de exclusão, mas uma condição de inclusão onde pontos de vista minoritários são absorvidos e achatados.

A ameaça estende-se aos direitos culturais e linguísticos, que foram concebidos para proteger as instituições minoritárias do domínio da maioria. Tradicionalmente, uma escola de uma minoria poderia curar sua própria biblioteca ou escolher seu próprio currículo para preservar sua língua e tradições. O viés cultural nessas tecnologias residia no conteúdo, que podia ser selecionado. A IA generativa inverte isso. O viés está na própria arquitetura do modelo. Uma comunidade minoritária não pode construir seu próprio modelo de fundação porque o custo é de centenas de milhões de dólares e os dados necessários não existem na escala da internet para línguas menores. Testes recentes mostram que mesmo os melhores modelos alcançam alta precisão em inglês, mas caem significativamente em línguas como o suaíli ou o iorubá. Quando uma escola religiosa ou uma sala de aula de uma língua minoritária utiliza um assistente de IA, ela importa um quadro normativo que assume, por padrão, o raciocínio secular e ocidental. A tecnologia penetra nos espaços institucionais que estes direitos deveriam proteger, reestruturando o conhecimento por dentro de uma forma que as ferramentas anteriores nunca fizeram.

Finalmente, este fenômeno ameaça a própria infraestrutura da deliberação democrática. Uma democracia saudável depende da disponibilidade de quadros genuinamente diversos para a compreensão de problemas. Ela exige que as pessoas sejam expostas a pontos de vista que não escolheriam antecipadamente. No entanto, se a IA generativa se tornar a principal fonte de informação, ela homogeneíza o campo epistêmico. Os quadros minoritários não são censurados; eles são absorvidos nos dados de treinamento do modelo, mas estruturalmente subordinados no output. O discurso público não desaparecerá, mas ocorrerá cada vez mais dentro de um campo que já foi achatado para a cultura mediana. Os marcos jurídicos projetados para proteger o pluralismo de pontos de vista, como as regras para a diversidade de mídia, assumem que o conhecimento diverso existe independentemente e só precisa de um canal para chegar ao público. A subordinação epistêmica colapsa esta suposição, estreitando o campo do qual o discurso diverso emerge.

Os autores concluem que as respostas jurídicas atuais são estruturalmente incapazes de alcançar este problema porque operam "rio abaixo", regulando o que os sistemas de IA fazem, em vez de como eles são construídos. Leis como o Ato de IA da União Europeia ou várias regulamentações estaduais focam na aplicação da IA em contratações ou empréstimos, ou na segurança do produto final. Elas não abordam a composição dos dados de treinamento ou a arquitetura do modelo em si. A afirmação central do ensaio é que proteger o pluralismo epistêmico requer uma orientação regulatória fundamentalmente diferente. A lei deve ser levada a governar ao nível do treinamento, moldando a composição dos dados, os métodos de alinhamento e a arquitetura do modelo.

Isto não é meramente uma demanda teórica; pesquisas recentes sugerem que a capacidade técnica para intervir é real. Cientistas propuseram arquiteturas modulares onde um modelo base recorre a modelos menores e específicos de comunidades para preservar perspectivas distintas. Outros demonstraram como construir sistematicamente dados de treinamento culturalmente fundamentados para línguas sub-representadas, garantindo que a nuance seja preservada em vez de achatada. Existem também métodos para gerar dados de treinamento sintéticos para representar perspectivas culturais específicas e para redesenhar o processo de alinhamento para representar uma distribuição completa de valores humanos, em vez de um único padrão. Embora estas propostas não sejam soluções acabadas, elas demonstram que o caminho técnico existe. O que permanece ausente é a vontade política e o quadro jurídico para exigir e possibilitar estas intervenções. A tarefa à frente é construir leis que possam alcançar a própria construção do modelo, garantindo que a infraestrutura do conhecimento não subordine a própria diversidade que afirma servir.