Resumo Técnico: "Não no Meu Quintal": LLMs Revelam Vieses Sociais Online e Offline Contra a População em Situação de Rua

1. Declaração do Problema

A situação de rua permanece um desafio global persistente, com mais de 876.000 pessoas em situação de rua (PEH - People Experiencing Homelessness) registradas nos EUA em 2025. Uma barreira significativa para aliviar essa crise é o viés social, que desumaniza a PEH, molda a percepção pública e influencia a formulação de políticas, levando frequentemente à rejeição de abrigos e serviços. Embora os meios de comunicação textuais online (Reddit, X/Twitter, notícias) e o discurso de conselhos municipais offline reflitam e influenciem a opinião pública, os recursos existentes carecem de capacidade para monitorar esses vieses de forma confiável em múltiplos domínios.

Trabalhos anteriores, como o OATH (Ranjit et al., 2024), forneceram anotações de especialistas para o X (Twitter), mas limitavam-se a uma única plataforma e palavra-chave, falhando em auditar mudanças na prevalência de rótulos ao escalar com Grandes Modelos de Linguagem (LLMs). Parceiros municipais precisam de mais do que simples pontuações de sobreposição; eles precisam saber se os monitores automatizados inflam ou deflacionam sistematicamente categorias específicas de estigma (ex: "Não no meu quintal" ou NIMBY) que impulsionam a reação pública negativa.

2. Metodologia

2.1 Construção do Corpus

Os autores construíram o primeiro corpus de viés de PEH multidomínio compreendendo 50.447 textos coletados de 2015 a 2025 em dez cidades dos EUA. As cidades foram selecionadas em dois clusters pareados por kNN (cinco menores, cinco maiores) com base em população, taxas de situação de rua e índice de Gini. As fontes de dados incluem:

• Reddit: Posts e comentários.
• X (antigo Twitter): Posts que não são repostagens.
• Notícias: Artigos.
• Reuniões de Conselhos Municipais: Transcrições (literais para algumas cidades; áudio/vídeo transcritos via Whisper para outras; resumos de pauta excluídos).

O texto foi recuperado usando um léxico de 11 termos de PEH (ex: "sem teto", "habitação acessível", "pessoa sem teto") e anonimizado usando spaCy e pydeidentify para remover PII (Informações de Identificação Pessoal). Para dados do X, onde a geolocalização está disponível para <3% dos posts, um pipeline de geolocalização em múltiplos estágios inferiu a localização dos usuários, localizando com sucesso aproximadamente 80% dos usuários na subamostra de 2025.

2.2 Taxonomia e Anotação

O estudo formaliza a detecção de viés de PEH como uma tarefa de classificação multi-rótulo de 16 categorias. A taxonomia estende os nove quadros do OATH (Ranjit et al., 2024) para incluir nuances específicas de plataforma (ex: distinguir perguntas genuínas de retóricas, fato/afirmação vs. observação).

Um Quadro de Viés Negativo foi definido para o monitoramento de implantação de abrigos, contendo cinco categorias específicas:

1. Pergunta retórica
2. Não no meu quintal (NIMBY)
3. Generalização prejudicial
4. Merecedor/indesejável
5. Racista

Um conjunto de padrão-ouro estratificado de 1.698 itens foi criado, anotado por três avaliadores treinados em colaboração com parceiros de organizações sem fins lucrativos. Para lidar com a subjetividade, os autores empregaram rotulagem suave (soft labeling) (Fornaciari et al., 2021), onde o rótulo de referência para uma categoria é determinado por voto majoritário (2 de 3) entre os anotadores. O restante do corpus foi rotulado usando GPT-4.1 com prompts de few-shot, servindo como anotações "professoras" em vez de verdade fundamental (ground truth).

2.3 Protocolo de Avaliação

O estudo compara seis LLMs induzidos (prompted) (zero-shot e few-shot) contra o conjunto de padrão-ouro:

• Modelos: GPT-4.1, Gemini 2.5 Pro, Grok-4, LLaMA 3.2 3B, Qwen 2.5 7B e Phi-4 Mini.
• Métricas: Pontuação Macro-F1 e um novo audito de lacuna de prevalência. A lacuna de prevalência ($\hat{\pi}_{model} - \pi_{ref}$) mede o deslocamento sistemático na taxa positiva de uma categoria em comparação ao padrão-ouro, revelando se um modelo infla ou reduz a marcação de categorias de viés específicas.

3. Principais Resultados

3.1 Desempenho de Referência (Benchmark)

• Macro-F1: APIs de código fechado (GPT-4.1, Gemini 2.5 Pro) alcançaram desempenho moderado com uma média de macro-F1 de aproximadamente 43-44% (few-shot). Modelos locais (LLaMA, Phi-4, Qwen) pontuaram mais baixo, com média de 32%. O uso de prompting few-shot proporcionou melhorias marginais, mas não reduziu a diferença entre modelos locais e fechados.
• F1 Moderado vs. Erro Sistemático: Embora as pontuações F1 sugerissem viabilidade, elas mascararam problemas significativos de calibração.

3.2 Lacunas de Prevalência e Descalibração

O auditor de lacuna de prevalência revelou descalibração sistemática em todos os modelos:

• Sobre-marcação de NIMBY: Todos os modelos sobre-marcaram a categoria "Não no meu quintal". A lacuna média agregada foi de +11,5 pontos percentuais (pp).
• Subdetecção de Afirmação Factual: Todos os modelos subdetectaram rótulos de "fornecer fato/afirmação", com uma lacuna agregada de -30,5 pp.
• Variância de Modelo: Embora o Qwen tenha ficado atrás do GPT-4.1 em cerca de 10 pontos de F1, sua sobre-marcação de NIMBY foi 7 vezes pior (+27,4 pp vs. +4,0 pp).

3.3 Análise de Erros

A análise de falsos positivos de consenso (itens onde $\ge$3 de 6 modelos zero-shot marcaram incorretamente NIMBY) identificou modos de falha específicos:

• Proxies Lexicais: Os modelos trataram a mera presença de vocabulário de habitação/pessoas sem teto (89,7% nos falsos positivos vs. 72,2% nos verdadeiros negativos) e pontos de interrogação (32,5% vs. 9,7%) como proxies para oposição de residentes.
• Falta de Detecção de Intenção: Os modelos falharam em distinguir entre textos que discutem habitação (ex: "Eles têm toda aquela habitação acessível, mas o lado negativo é que é em [Cidade]") e textos que se opõem à implantação de habitação.
• Consequência: Isso leva a uma distorção onde as comunidades parecem mais opostas a abrigos e menos baseadas em evidências do que realmente são.

4. Contribuições

1. Corpus Multidomínio: Lançamento de um corpus de 50.447 itens abrangendo Reddit, X, notícias e transcrições de conselhos municipais de dez cidades dos EUA, coletados via um léxico de 11 termos de PEH.
2. Referência de Padrão-Ouro: Um conjunto estratificado de 1.698 itens com uma taxonomia de 16 categorias multi-rótulo, anotado por especialistas no domínio e parceiros de organizações sem fins lucrativos, utilizando rotulagem suave para lidar com a subjetividade.
3. Protocolo de Auditoria de Lacuna de Prevalência: Uma metodologia que complementa as pontuações F1 com verificações de calibração sistemáticas para detectar deslocamentos sistemáticos na prevalência de rótulos, crucial para ferramentas de monitoramento.
4. Benchmarking de LLM e Análise de Erros: Demonstração de que pontuações F1 moderadas coexistem com grandes descalibrações, identificando especificamente que os modelos usam vocabulário de habitação e formas de pergunta como proxies para NIMBY.

5. Significância e Alegações

O artigo afirma fornecer o primeiro recurso de NLP multidomínio para monitorar o estigma de PEH, co-desenvolvido com parceiros de organizações sem fins lucrativos. Sua principal significância reside em demonstrar que a precisão (F1) é insuficiente para o monitoramento de viés; sem auditorias de lacuna de prevalência, os LLMs podem distorcer sistematicamente a realidade da opinião pública, fazendo com que as comunidades pareçam mais hostis aos abrigos do que realmente são.

Os autores enfatizam que o corpus e o protocolo de auditoria oferecem aos municípios uma base reproduzível para o monitoramento de estigma. Eles alertam que painéis (dashboards) rotulados por LLM não devem ser tratados como verdade fundamental sem auditorias recorrentes contra um conjunto de referência de padrão-ouro. O trabalho apoia a implementação de ferramentas de "monitoramento direcional", desde que acompanhadas de limites de lacuna de prevalência e validação regular com humanos no ciclo (human-in-the-loop) para evitar a amplificação de sinais de oposição falsos.

Limitações Notadas pelos Autores:

• O padrão-ouro é uma referência para auditoria, não uma verdade infalível sobre viés subjetivo.
• Categorias raras (ex: "racista") possuem poucos positivos no conjunto de padrão-ouro para cálculos estáveis de lacuna de prevalência.
• O corpus é limitado a dez cidades dos EUA e texto em inglês, não representando todos os contextos globais ou socioeconômicos.
• A atividade de bots em redes sociais não foi verificada.